Open AI a détaillé dans un billet de blog, sa politique de surveillance des conversations, au nom de la lutte contre la violence et de la prévention des suicides, selon les données rapportées par BFMTV.
Dans le détail, quand vous discutez, l’IA analyse votre conversation pour détecter des signaux faibles de comportements potentiellement dangereux. Mais c’est un exercice compliqué car si quelqu’un demande à ChatGPT comment fabriquer une bombe, ça peut être réel mais ça peut être pour un exposé, ou un écrivain qui veut rendre son livre plus crédible ou même quelqu’un qui veut jouer avec les limites de l’intelligence artificielle.
Cela peut être dur de discerner la différence donc l’IA va analyser le comportement global de l’utilisateur, en prenant en compte les autres discussions et la récurrence de certains mots-clés. Si un comportement est jugé dangereux, la main va passer à un humain modérateur. Ce dernier va lire les conversations, les mettre en contexte et déterminer s’il y a un danger ou pas.
S’il y a danger, à ce moment-là, les forces de l’ordre peuvent être prévenues. On a eu un cas en France récemment, où un homme a été arrêté par le RAID du côté de Strasbourg. Il avait demandé à ChatGPT comment tuer un agent du renseignement et il a été immédiatement interpellé.
Mais ce qui est compliqué à gérer, c’est la frontière un peu floue entre sécurité et liberté individuelle. À partir du moment où une IA analyse vos conversations pour détecter un danger, elle analyse aussi potentiellement des éléments très intimes de votre vie. Surtout pour les personnes qui lui parlent comme à un confident. Techniquement, il ne faut jamais oublier que cela reste une plateforme avec des obligations légales.
De leur côté, la surveillance est aussi une manière de se blinder juridiquement, d’éviter d’être attaqués en justice pour inaction. Il y a quelques jours justement, Sam Altman, le fondateur d’OpenAI, a dû s’excuser publiquement à la suite d’une tuerie au Canada dans laquelle l’IA avait été utilisée avant le passage à l’acte. Ils avaient détecté un problème, suspendu le compte, mais n’avaient pas prévenu les forces de l’ordre. Des familles de victimes ont porté plainte contre OpenAI.
