"Quelque chose d'incroyable est en train de se produire dans le monde de l'intelligence artificielle, et tout n'est pas rose", écrivait il y a six mois Gary Marcus, l'une des principales voix du débat actuel sur l'IA.

Selon lui, le lancement de ChatGPT nous amène au "moment Jurassic Park" des machines : la possibilité - comme dans le film de Steven Spielberg - que les choses deviennent incontrôlables.

"Lorsque j'ai écrit cet article, je pense que les gens m'ont pris pour un fou ou un alarmiste", a déclaré M. Marcus lors d'une interview accordée à la BBC.

Mais en 2023, de graves problèmes avec ce type d'intelligence artificielle ont commencé à proliférer : en mars, en Belgique, un homme qui parlait fréquemment au chatbot Eliza, de l'entreprise Chai, s'est suicidé.

Meurtre par chatbot

La femme de l'homme affirme que le contact avec le programme l'a conduit à mettre fin à ses jours. Pour le gouvernement belge, cette affaire constitue "un précédent à prendre au sérieux" et "le danger de l'utilisation [de l'intelligence artificielle] est une réalité qu'il faut prendre en compte".

Il s'agit d'un scénario possible décrit quatre mois plus tôt par Marcus dans un article pour le magazine Wired : "Peut-être qu'un chatbot blessera quelqu'un si profondément que cette personne sera poussée à mettre fin à ses jours ? (...) En 2023, nous pourrions assister au premier meurtre commis par un chatbot.

"Je pense que ces systèmes peuvent être très destructeurs. Et ce potentiel de destruction s'explique en partie par le fait qu'ils ne sont pas fiables. Ces programmes peuvent inventer quelque chose et dire [à l'utilisateur] que c'est un fait. Et ils peuvent également être utilisés par des personnes à cette fin", explique M. Marcus.

"Les systèmes d'intelligence artificielle dont nous disposons aujourd'hui ne sont pas bien contrôlés. La situation n'est pas encore terrible, mais les gens leur donnent de plus en plus de pouvoir. Et nous ne savons pas ce que ces systèmes peuvent faire dans une situation donnée."

Sept sombres prédictions

L'année dernière, M. Marcus a compilé "sept prédictions désastreuses" concernant des systèmes tels que ChatGPT, notamment que la nouvelle version du programme serait comme un "taureau dans un magasin de porcelaine, téméraire et difficile à contrôler".

"Il commettra un nombre important d'erreurs stupéfiantes, d'une manière difficilement prévisible".

Fin mars, un cas étrange a attiré l'attention des médias. Une personne a demandé à ChatGPT de nommer des universitaires impliqués dans des affaires de harcèlement sexuel.

La liste mentionnait un professeur de droit américain, Jonathan Turley. Selon l'émission, Turley aurait fait des commentaires sexuellement suggestifs à une étudiante lors d'un voyage en Alaska et aurait tenté de la toucher. La réponse citait un rapport du Washington Post de 2018 comme preuve.

Mais rien de tout cela ne s'est produit : ni le voyage, ni le rapport, ni même l'accusation. C'est comme si le robot avait inventé l'accusation.

Création d'informations inexactes

OpenAI, la société à l'origine de ChatGPT, a publié un communiqué indiquant que le programme "ne génère pas toujours des réponses exactes".

Pour Marcus, "nous n'avons aucune garantie formelle que ces programmes fonctionnent correctement, même lorsqu'ils effectuent des calculs mathématiques".

"Parfois ils sont corrects, parfois ils ne le sont pas. Le manque de contrôle et de fiabilité sont des problèmes que je vois."

"Votre calculatrice traditionnelle est garantie de donner une réponse arithmétique. Mais ce n'est pas le cas des grands modèles linguistiques.

Il fait référence au système qui sous-tend ChatGPT, les LLM (grands modèles de langage), qui stockent d'énormes quantités de données et génèrent, grâce à de puissants algorithmes, des réponses approximatives basées sur ce que les humains ont déjà dit.

Bref, un perroquet ultra-sophistiqué, mais qui ne sait pas de quoi il parle et qui, parfois, "hallucine", terme d'IA désignant une réponse hors norme, en décalage avec les attentes des programmeurs.

"Les LLM ne sont pas très intelligents, mais ils sont dangereux", affirme M. Marcus, qui a également inclus la montée des moments hallucinatoires de l'IA dans sa liste de "sombres prédictions".

Outre les générateurs de texte, les programmes qui manipulent les images évoluent rapidement.

Récemment, une photo du pape François en veste argentée, prise avec le programme Midjourney, a semé la confusion sur l'internet pendant quelques heures : l'image était-elle réelle ?

L'épisode a eu des conséquences anodines, mais il est révélateur de la possibilité d'instaurer une zone grise permanente entre les faits et le faux.

"Si nous n'agissons pas, nous sommes sur le point d'entrer dans un environnement de post-vérité", déclare le professeur de l'université de New York.

"Cela rend les choses très difficiles pour la démocratie. Nous devons sanctionner ceux qui produisent de la désinformation de masse, exiger des filigranes pour identifier l'origine des informations et créer de nouvelles technologies pour détecter les faussetés. Tout comme il existe des logiciels antivirus, nous avons besoin de logiciels anti-désinformation.

"Le capitalisme ne résoudra pas ces problèmes.

Marcus, 53 ans, ne se limite pas au monde universitaire. Il a vendu une entreprise à Uber et est devenu directeur d'un laboratoire au sein du département d'intelligence artificielle du géant du covoiturage. Il a quitté son poste au bout de quatre mois seulement, à un moment où l'entreprise était accusée d'entretenir un environnement "toxique".

Lorsqu'on lui demande s'il pense que le célèbre mantra de la Silicon Valley "aller vite et casser les choses" et la concurrence effrénée pour les marchés ont créé des conditions dangereuses pour le développement de l'intelligence artificielle, il répond qu'"on ne peut pas s'attendre à ce que le capitalisme, à lui seul, résolve ces problèmes".

Il préconise que les entreprises soient soumises à une réglementation et cite le marché de l'aviation comme exemple de la nécessité d'une telle réglementation.

"Dans les années 1950, l'industrie du transport aérien était un désastre. Les avions s'écrasaient tout le temps. La réglementation était une bonne chose pour le secteur aérien. En fin de compte, elle a permis à l'industrie du transport aérien de développer un meilleur produit", explique-t-il.

"Le fait de laisser les entreprises faire les choses ne va pas nécessairement dans la bonne direction.... Ce n'est pas pour rien que les gouvernements existent, n'est-ce pas ?

Comprendre avec le "parrain de l'IA"

La position prudente et méfiamment enthousiaste de Marcus sur l'évolution rapide de l'IA n'a pas toujours été bien accueillie.

Son scepticisme a été raillé il y a plusieurs années par ses pairs (principalement sur Twitter), mais le vent a tourné : plusieurs personnalités du domaine de l'IA ont commencé à adopter un ton différent.

Jeffrey Hinton, surnommé le "parrain de l'IA", a annoncé son départ de Google et a déclaré peu après qu'il considérait les problèmes de l'intelligence artificielle comme "peut-être plus urgents que ceux du changement climatique".

"Hinton et moi avons des points de vue différents sur certains aspects de l'intelligence artificielle. J'ai correspondu avec lui il y a quelque temps, je lui ai expliqué ma position et il a été d'accord avec moi, ce qui n'est pas toujours le cas. Mais le principal point sur lequel nous sommes d'accord est le contrôle", explique-t-il.

"Je ne suis pas nécessairement d'accord pour dire que [l'IA] est une menace plus importante que le changement climatique, mais il est difficile de le savoir. De nombreuses données sont disponibles pour tenter d'estimer les risques liés au changement climatique. Mais avec l'intelligence artificielle, nous ne savons même pas comment estimer ces risques".

"Mais pour moi, la possibilité que ces outils soient utilisés pour saper les démocraties est essentiellement de 100 %. Nous ne savons pas s'il est possible que des robots prennent le contrôle de la planète. Il est raisonnable pour certaines personnes d'envisager ce scénario. Nous construisons des outils très puissants. Nous devons tenir compte de ces menaces.