Les intelligences artificielles génératives sont capables de rédiger un texte, résumer un document, écrire du code ou répondre en quelques secondes à des questions complexes. Pourtant, ChatGPT, Gemini, Claude et les autres grands modèles de langage peuvent aussi produire des informations complètement fausses, parfois avec une assurance déconcertante.
On appelle généralement ce phénomène une « hallucination de l’IA ».
Le terme est spectaculaire. Il est aussi trompeur.
Une intelligence artificielle n’hallucine évidemment pas comme un être humain. Elle ne voit rien, n’imagine rien et ne se réveille pas soudainement persuadée d’avoir découvert une vérité. Elle produit une réponse qui peut être linguistiquement très convaincante mais factuellement incorrecte.
Et cette distinction est essentielle pour comprendre comment utiliser correctement l’intelligence artificielle.
Qu’est-ce qu’une hallucination de l’IA ?
Une hallucination désigne généralement une situation dans laquelle une IA générative produit une information fausse, inventée ou insuffisamment étayée, parfois avec une grande assurance.
Une IA peut ainsi inventer une référence scientifique, attribuer une citation à la mauvaise personne, fournir une date erronée, créer une jurisprudence qui n’existe pas ou donner une explication techniquement plausible mais fausse.
C’est précisément ce qui rend le phénomène dangereux : une erreur grossière est facile à repérer ; une erreur parfaitement bien rédigée l’est beaucoup moins.
OpenAI décrit les hallucinations comme des affirmations plausibles mais fausses produites par les modèles de langage et reconnaît que le phénomène reste un défi pour les LLM modernes.
Pourquoi ChatGPT et les autres IA hallucinent-ils ?
Pour le comprendre, il faut abandonner une idée très répandue : un grand modèle de langage n’est pas simplement une gigantesque encyclopédie qui rechercherait une réponse dans une base de données.
Schématiquement, un LLM — Large Language Model — apprend des régularités présentes dans d’immenses quantités de textes. Lorsqu’on lui pose une question, il génère ensuite une réponse en produisant des suites de tokens statistiquement plausibles compte tenu du contexte.
C’est une différence fondamentale.
La vraisemblance linguistique et la vérité factuelle ne sont pas la même chose.
Un modèle peut donc produire une phrase extrêmement crédible sans disposer d’un mécanisme garantissant que chaque affirmation contenue dans cette phrase correspond à la réalité.
Cela explique une expérience que pratiquement tous les utilisateurs réguliers d’IA ont déjà connue : on pose une question sur un sujet que l’on connaît très bien et l’on découvre une réponse magnifiquement construite… mais fausse.
Et lorsque nous demandons à l’IA de justifier son erreur, elle peut parfois produire une nouvelle explication tout aussi convaincante.
Une IA peut même inventer ses sources
C’est probablement l’une des formes d’hallucination les plus problématiques.
Demandez à une IA de citer ses sources et vous pourriez penser que le problème est réglé.
Malheureusement, ce n’est pas toujours le cas.
Un modèle peut produire le titre vraisemblable d’un article scientifique, lui attribuer des auteurs, une année de publication et parfois même une référence qui ressemble parfaitement à une véritable citation académique.
Le document peut pourtant ne jamais avoir existé.
C’est particulièrement dangereux parce que la présence d’une référence produit chez l’être humain un sentiment de confiance supplémentaire.
Nous ne devons donc pas simplement demander :
« As-tu une source ? »
Nous devons parfois aller plus loin :
« Cette source existe-t-elle réellement et dit-elle bien ce que l’IA affirme ? »
La différence paraît subtile. Elle est fondamentale.
Le mot « hallucination » nous induit lui-même en erreur
Il existe ici un paradoxe que je trouve particulièrement intéressant.
Nous utilisons un mot profondément humain — halluciner — pour décrire le fonctionnement d’une machine.
En disant « l’IA hallucine », nous sommes déjà en train de l’anthropomorphiser.
L’expression suggère presque une machine qui se tromperait comme nous : elle aurait cru voir quelque chose, aurait mal compris une situation ou se serait souvenue incorrectement d’une information.
Ce n’est pas ce qui se passe.
Le système produit une sortie incorrecte.
Cette distinction est importante parce que notre vocabulaire influence progressivement notre perception de la technologie.
Nous disons aujourd’hui que l’IA sait, que l’IA comprend, que l’IA ment, qu’elle désobéit, qu’elle veut quelque chose ou encore qu’elle hallucine.
Ces expressions sont pratiques dans une conversation quotidienne. Elles deviennent beaucoup plus problématiques lorsqu’elles nous conduisent à attribuer à une machine des intentions ou des mécanismes cognitifs humains.
C’est d’ailleurs l’un des sujets sur lesquels j’insiste régulièrement lorsque je parle d’intelligence artificielle : nous devons arrêter de confondre le comportement observable d’un système avec une intention humaine que nous lui attribuons.
Pourquoi les hallucinations de l’IA sont-elles dangereuses ?
Pour demander à une IA de proposer un menu avec ce qu’il reste dans le réfrigérateur, une erreur occasionnelle n’a généralement pas de conséquence dramatique.
Mais imaginons maintenant son utilisation dans le droit, la cybersécurité, la médecine, la finance, l’ingénierie ou la gestion d’une entreprise.
Le problème change complètement de dimension.
Une référence juridique inventée peut influencer une décision. Une vulnérabilité inexistante peut faire perdre du temps à une équipe de cybersécurité. Une mauvaise interprétation d’un document peut conduire à une décision erronée. Une information financière incorrecte peut influencer un investissement.
Plus nous confions des tâches importantes aux IA, plus la question n’est donc plus simplement :
« L’IA est-elle performante ? »
Il faut également demander :
« Que se passe-t-il lorsqu’elle se trompe ? »
Cette deuxième question est probablement encore plus importante que la première.
Le problème va devenir encore plus important avec les agents IA
Les hallucinations prennent une nouvelle dimension avec l’arrivée des agents d’intelligence artificielle.
Un chatbot traditionnel produit essentiellement une réponse.
Un agent peut potentiellement produire une réponse et agir : consulter des données, envoyer un message, modifier un document, appeler une API, déclencher un processus ou interagir avec d’autres systèmes.
La différence est considérable.
Une hallucination dans un chatbot peut produire une mauvaise réponse.
Une mauvaise décision prise par un agent disposant de privilèges importants peut produire une mauvaise action.
En cybersécurité, cette distinction doit devenir centrale.
La question ne consiste donc pas uniquement à déterminer si un modèle possède de bonnes performances moyennes. Il faut également contrôler les permissions accordées aux systèmes, vérifier les actions sensibles et prévoir ce qui se passe lorsque le modèle se trompe.
C’est exactement le même principe que dans la sécurité informatique traditionnelle : ne jamais accorder davantage de privilèges que nécessaire.
Peut-on empêcher une IA d’halluciner ?
On peut considérablement réduire le risque, mais il serait imprudent de considérer aujourd’hui n’importe quel grand modèle de langage comme intrinsèquement infaillible.
Plusieurs mécanismes permettent d’améliorer la situation.
On peut fournir au modèle des documents fiables sur lesquels baser sa réponse. On peut utiliser des mécanismes de recherche ou de RAG — Retrieval-Augmented Generation afin que l’IA travaille à partir d’informations récupérées dans une source identifiée.
On peut également demander des références vérifiables, connecter les modèles à des bases de données fiables et imposer une validation humaine avant certaines décisions.
Il faut aussi permettre à l’IA de dire quelque chose de très simple :
« Je ne sais pas. »
C’est beaucoup plus important qu’il n’y paraît.
Une IA qui reconnaît son incertitude peut être beaucoup plus utile qu’une IA qui fournit systématiquement une réponse.
Comment utiliser ChatGPT et les IA génératives sans tomber dans le piège ?
La solution n’est certainement pas d’arrêter d’utiliser l’intelligence artificielle.
Ce serait comparable à avoir refusé les moteurs de recherche parce qu’Internet contenait de fausses informations.
Il faut plutôt apprendre à adapter notre niveau de vérification à l’importance de la décision.
Pour une utilisation sans conséquence importante, une vérification approfondie n’est pas toujours nécessaire.
Pour une information importante, il faut en revanche demander les sources, ouvrir ces sources, vérifier qu’elles existent réellement et contrôler qu’elles disent bien ce que l’IA leur fait dire.
Et pour une décision critique, une validation humaine ou un mécanisme de contrôle approprié doit rester présent.
C’est probablement l’une des compétences numériques importantes des prochaines années : savoir utiliser l’IA tout en sachant quand ne pas lui faire confiance.
L’IA doit rester un outil, pas devenir une autorité
C’est probablement la leçon la plus importante.
Une réponse extrêmement bien écrite ne devient pas vraie parce qu’elle est convaincante.
Lorsque j’utilise une calculatrice, je sais ce que j’attends d’elle. Lorsque j’utilise Wikipédia, je peux remonter aux références. Avec une IA générative, la fluidité extraordinaire de la conversation peut au contraire créer une illusion de compétence universelle.
Et plus les modèles deviennent agréables à utiliser, plus cette illusion peut devenir forte.
Il ne faut donc ni rejeter l’intelligence artificielle parce qu’elle commet des erreurs, ni lui accorder une confiance aveugle parce qu’elle produit des réponses impressionnantes.
Il faut apprendre à travailler avec elle tout en restant maître de la décision.
Le véritable danger n’est finalement peut-être pas qu’une IA « hallucine ».
Le danger commence lorsque nous oublions qu’elle peut se tromper.
Axel Legay : pourquoi les IA hallucinent-elles ? Mon explication en vidéo
J’aborde également les hallucinations des intelligences artificielles en vidéo, avec des exemples et une explication accessible de ce qui se passe réellement derrière ces réponses parfois spectaculaires.
🎥 Voir ma vidéo sur les hallucinations de l’IA
L’intelligence artificielle va continuer à progresser. Les erreurs devraient devenir moins fréquentes et les mécanismes permettant de vérifier les réponses vont continuer à s’améliorer.
Mais notre responsabilité restera la même : comprendre ce que fait réellement la machine plutôt que de lui prêter des intentions, une conscience ou des capacités qu’elle ne possède pas.
Une IA n’a pas besoin de « savoir » qu’elle a raison pour produire une excellente réponse.
Et malheureusement, elle n’a pas davantage besoin de « savoir » qu’elle a tort pour produire une réponse parfaitement convaincante.
Axel Legay
Expert en cybersécurité et intelligence artificielle