Pourquoi la fausse référence paraît vraie
Un modèle de langage apprend des régularités : manière d'écrire un nom d'auteur, structure d'un titre académique, format d'un DOI. Quand il ne dispose pas de l'information exacte, il peut assembler ces éléments en une référence très vraisemblable.
On appelle souvent ce phénomène une hallucination. Le mot ne signifie pas que la machine voit ou croit quelque chose. Il désigne ici une sortie fluide mais non fondée sur une source réelle ou fidèle.
Ce que les études ont observé
Walters et Wilder ont demandé à deux versions de ChatGPT de produire des revues courtes sur 42 sujets. Dans ce protocole réalisé en 2023, 55 % des références de GPT-3.5 et 18 % de celles de GPT-4 étaient fabriquées. Parmi les références réelles, certaines comportaient encore des erreurs importantes.
Ces chiffres décrivent des versions, des prompts et une période précises. Ils ne permettent pas d'attribuer aujourd'hui un taux unique à toutes les IA. Le résultat durable est plus simple : une citation générée doit être vérifiée en dehors du modèle.
Une étude publiée dans PNAS a également observé des références fictives et des erreurs, avec de meilleurs résultats pour le modèle le plus performant testé. Là encore, l'amélioration du modèle réduisait le risque sans le supprimer.
Le protocole Azera en trois contrôles
1. Existence. Recherche le titre exact dans Crossref, PubMed, Semantic Scholar, Google Scholar ou le catalogue de l'éditeur. Un lien fourni par l'IA n'est pas une preuve.
2. Métadonnées. Vérifie que le titre, les auteurs, l'année, la revue et le DOI correspondent tous au même document. Un DOI réel peut pointer vers un autre article.
3. Interprétation. Lis au minimum le résumé, la population étudiée, la méthode et les limites. Une vraie étude peut être citée pour une conclusion qu'elle ne démontre pas.
Google Scholar aide à retrouver des versions et des citations, mais le nombre de citations ne garantit ni la qualité de l'étude ni la justesse de l'interprétation.
Un exercice d'esprit critique à faire en classe
Demande à une IA trois sources sur une affirmation précise. Répartis ensuite la vérification : une personne contrôle l'existence, une autre les métadonnées et une troisième la conclusion. Comparez ce qui semblait crédible au premier regard avec ce qui résiste à la vérification.
La règle utile n'est pas « ne jamais utiliser l'IA ». C'est : ne jamais déléguer la responsabilité de la source. Dans un devoir, tu restes responsable de la référence que tu signes.
