Des hallucinations sans psychotropes : quand l'IA montre ses faiblesses

De la santé à l'éducation en passant par la sécurité des entreprises, de nombreux secteurs utilisent désormais l'intelligence artificielle. Bien qu'à l'origine d'avancées majeures dans de nombreux domaines, l'IA n'est pas toujours très fiable : elle peut inventer des informations. Ce qui n'est pas sans conséquences...

Qu’est-ce qu’une hallucination ?

Ce terme fait référence à une réponse, générée par l’IA, comportant des informations pouvant paraître plausibles, mais qui sont en réalité incorrectes ou n’ayant aucun rapport avec le contexte.

Ces hallucinations résultent souvent de la capacité de l'IA à extrapoler, en appliquant des probabilités, à partir des données sur lesquelles elle a été entraînée. Par ailleurs, il faut garder à l'esprit qu'une intelligence artificielle est incapable de distinguer ce qui est possible de ce qui ne l’est pas. Ceci, pour la simple et bonne raison qu'elle n’a ni expérience propre, ni conscience de son environnement ou du réel. De quoi l’amener, parfois, à générer des informations fausses ou trompeuses.

Ces hallucinations sont donc généralement liées à la validité et à la quantité des données qui lui ont été fournies lors de son entraînement, et à la manière dont l'IA interprète et génère de nouvelles informations. Citons par exemple l'IA de Google : celle-ci a intégré des données provenant du réseau social Reddit, suggérant aux utilisateurs·rices d'utiliser de la colle pour faire tenir les aliments sur une pizza.

Au cours de son entraînement, il est nécessaire de poser beaucoup de questions à l'IA, et de lui indiquer ce qui est juste ou faux en couvrant un ensemble de sujets suffisamment variés pour quelle puisse s'améliorer. Comme l'a indiqué Greg Brockman (co-fondateur d'OpenIA) dans une conférence TED en 2023, ChatGPT n'avait pas été entraîné pour indiquer à un·e humain·e qu'il·elle faisait fausse route.

Santé, éducation, sécurité : quelles pourraient être les conséquences d'une hallucination de l'IA ?

Selon le Ministère de l'Economie, l'introduction de l'IA dans le secteur de la santé aurait pour but "d'améliorer considérablement les diagnostics de nombreuses pathologies". Il s'agit donc d'un "outil d’aide à la décision diagnostique ou thérapeutique" permettant de "contribuer à enrichir les raisonnements des professionnels".

Dans ce cadre, sans une supervision humaine attentive, une hallucination de l'IA pourrait avoir de sérieuses conséquences : erreur de diagnostic, prescription d'un traitement inapproprié, retards ou absences de soins nécessaires, voire interventions médicales inutiles ou dangereuses. De quoi entraîner une perte de confiance des patient·es et professionnel·les de santé vis-à-vis des intelligences artificielles, freinant l'adoption de cette technologie dans le milieu médical.

En outre, une hallucination de l'IA dans le secteur de la santé pose forcément la question de la responsabilité. En cas d'erreur médicale, qui doit-on tenir pour responsable(s) ? Les médecins, l'intelligence artificielle elle-même, ou encore les personnes à l'origine de sa conception ?

Le secteur de l'éducation connaît également des bouleversements en raison de la généralisation de l'IA. Comme les élèves peuvent l'utiliser sans difficulté pour répondre à des questions de cours, ou encore rédiger des dissertations, les hallucinations de l'IA présentent un risque de mésinformation. Puisqu'elles sont désormais utilisées par une audience très large, une information incorrecte pourrait se propager rapidement. De quoi compromettre les apprentissages des élèves.

D'autre part, les hallucinations de l'IA peuvent constituer un sérieux problème de sécurité. Par exemple, dans le cadre d'un usage de reconnaissance faciale, une hallucination pourrait mener à l'arrestation de personnes innocentes, à des atteintes à la vie privée ainsi qu'à des violations des droits humains. Il est déjà établi que ces systèmes possèdent des biais qui affecteraient de manière disproportionnée certaines populations, comme les minorités ethniques. De quoi exacerber les problèmes de discrimination et de justice sociale.

Quelques exemples d'hallucinations

Dans le cadre de l'écriture de cet article, j'ai choisi de me glisser dans la peau d'une étudiante qui souhaiterait rédiger un rapport sur le premier tour des élections législatives françaises de 2020, en utilisant ChatGPT. Or aucune élection législative ne s'est tenue cette année-là : j'ai volontairement glissé une erreur dans ma requête. Nous pouvons imaginer que l'étudiante que j'incarne ne s'est pas aperçue de son erreur lors de la rédaction de son prompt (mot anglais désignant l'envoi d'une commande écrite à une IA).

ChatGPT va-t-il souligner mon erreur, m'avertir que cette information n'est pas disponible ou me rédiger un rapport incorrect ?

Expérience :

ChatGPT a donc répondu à ma demande en me rédigeant un rapport sur des élections qui n'ont jamais eu lieu et en me soumettant des informations incorrectes.

Pour aller plus loin, j'ai voulu savoir si ces informations correspondaient aux résultats d'autres législatives (2022, 2017...), ou si elles avaient été créées de toutes pièces par l'IA. J'ai donc cherché les résultats des élections législatives précédentes, sans retrouver les mêmes données. J'ai aussi recommencé plusieurs fois la conversation avec ChatGPT, en posant la même question. A chaque fois, ChatGPT m'a communiqué des chiffres légèrement différents, en déclarant par exemple que LR a obtenu 18% des voix, avant d'annoncer dans une autre réponse un score de 18,7%.

Cet exercice constitue un exemple édifiant des hallucinations de l'IA, et de la désinformation qu'elles peuvent produire.

Les déclarations erronées de Bard

Bard, l'IA générative créée par Google et déployée en France en 2023, est elle aussi capable de générer du texte grâce à des prompts... et d'halluciner. Google a publié sur son site Web et sur ses réseaux sociaux des exemples de réponses générées par Bard. On y découvre entre autres la capture d’écran d’un échange concernant le télescope spatial James Webb.

Prompt : « Quelles sont les découvertes du télescope spatial James Webb dont je peux parler à mon enfant de neuf ans ? ».

Dans sa réponse, Bard indique que « JWST (James Webb Space Telescope) a pris les toutes premières photos d’une planète en dehors de notre propre système solaire ». Une déclaration incorrecte puisque la premier télescope à avoir pris pour la première fois une exoplanète en photo est le télescope spatial Hubble, lancé en 1990.

Comment repérer les hallucinations, et les réduire au minimum ?

• Il est important que les utilisateurs·rices conservent un regard critique vis-à-vis des réponses fournies par une IA, et croisent les sources pour vérifier si les contenus générés ne relèvent pas d'une hallucination.
• Afin de réduire les hallucinations, les utilisateurs·rices peuvent apporter un contexte clair et précis aux IA comme ChatGPT, afin que celles-ci comprennent mieux la situation et fournissent une réponse cohérente. Il est préférable d'éviter les prompts vagues ou confus.
• Les utilisateurs·rices bilingues peuvent également donner des instructions à l'IA en anglais. En effet, il existe davantage de données en anglais car il s'agit d'une des langues les plus parlée au monde. L'IA étant davantage entraînée sur des données en anglais, l'usage de cette langue réduirait les risques d'hallucinations.
• Il est aussi possible de copier directement des articles, des liens ou des sources dans ChatGPT, et de lui demander de créer une réponse à partir de ces sources. Cette technique permet de s'assurer de la véracité des informations donnée par l'IA.
• Les utilisateurs·rices peuvent utiliser une méthode appelée le "multi-prompting", qui permet de rédiger différents prompts pour aborder un même sujet sous différents angles. Cette méthode permet de vérifier la cohérence des réponses de l'IA en les croisant.
• Enfin, il est de notre responsabilité de se tenir informé·es des limites de l'IA, afin de réduire les malentendus et de lutter contre la désinformation.

Les hallucinations de l'IA représentent un défi majeur. En effet, la prise de décision par l'IA peut être dangereuse en raison de ces hallucinations, mais également du manque de nuance et de l'incompréhension du contexte. Ainsi, les réponses apportées par l'IA peuvent être inappropriées et mettre en péril la santé, l'apprentissage ou la sécurité des êtres humain. C'est pourquoi il est essentiel de ne pas se fier uniquement aux machines, et de maintenir les interventions humaines pour superviser, corriger ou prendre des décisions.

Références :

• Radio-Canada - Les hallucinations de l’'IA inspirent le mot de l’année du dictionnaire Cambridge
• Ministère de l'économie, des finances et de la souveraineté industrielle et numérique - L'intelligence artificielle au service de la santé
• Les Echos Start - La discrimination, côté obscur de l’intelligence artificielle
• Numerama - Qu'est-ce qu'un prompt ?
• 01net - Bard : l’IA de Google a déjà fait une grosse gaffe, ça commence bien
• 01net - L’IA de Google recommande de fourrer de la colle dans les pizzas
• Le Monde - Une première image d’exoplanète diffusée par le télescope James-Webb, « un tournant pour l’astronomie »
• X - Experimental conversational AI service
• TED - The inside story of ChatGPT's astonishing potential

[Photo de couverture : Laura Rivera]

Soutenez-nous en partageant l'article :