Réduire les hallucinations de Claude : les sept techniques de la documentation Anthropic

Une « hallucination » désigne un texte produit par un modèle qui est faux, ou qui contredit le document qu'on lui a fourni. Anthropic consacre une page de sa documentation aux moyens d'en réduire la fréquence avec Claude. Elle distingue trois techniques de base et quatre techniques avancées. Toutes passent par la façon de rédiger la demande.

Les trois techniques de base

1. Autoriser le modèle à ne pas savoir. Il suffit d'écrire noir sur blanc que le modèle peut reconnaître son incertitude. L'exemple de la documentation porte sur l'analyse d'un rapport de fusion-acquisition : la consigne demande de répondre par une phrase convenue chaque fois que le rapport ne contient pas l'information nécessaire. Selon Anthropic, cette seule permission réduit fortement les fausses informations.

2. Faire extraire des citations avant d'analyser. Pour les documents longs, que la page situe au-delà de 20 000 jetons, il est conseillé de procéder en deux temps : d'abord extraire mot pour mot les passages utiles, ensuite raisonner uniquement à partir de ces passages, numérotés. L'exemple donné est l'audit d'une politique de confidentialité au regard du RGPD. Si aucun passage pertinent n'existe, le modèle doit le dire.

3. Exiger une preuve pour chaque affirmation. La réponse devient vérifiable si chaque affirmation renvoie à une citation de la source. Variante : après avoir rédigé, le modèle reprend son texte, cherche une citation à l'appui de chaque affirmation et retire celles qu'il ne peut pas étayer. Dans l'exemple d'un communiqué de presse, l'emplacement des passages retirés est signalé par des crochets vides.

Les quatre techniques avancées

• Relire le raisonnement. En activant la réflexion du modèle avec un affichage résumé (display: "summarized" dans l'API), on peut consulter les blocs de raisonnement quand une réponse paraît douteuse et repérer une hypothèse erronée.
• Comparer plusieurs réponses. Le même prompt est exécuté plusieurs fois. Des divergences entre les sorties peuvent signaler une hallucination.
• Affiner par étapes. La sortie du modèle sert d'entrée à un second prompt, qui demande de vérifier ou de développer les affirmations précédentes.
• Fermer l'accès aux connaissances générales. La consigne précise que seules les informations des documents fournis peuvent être utilisées.

Ce que la page ne dit pas

La documentation ne chiffre aucun gain. Les formules employées (« réduit fortement », « peut signaler ») restent qualitatives, et aucune mesure n'accompagne les exemples. Il faut donc évaluer l'effet sur ses propres documents.

Ces techniques ont aussi un coût. Extraire des citations puis analyser, relancer plusieurs fois le même prompt ou enchaîner un prompt de vérification multiplie les jetons consommés et allonge le délai de réponse. La page n'aborde pas ce point.

Enfin, Anthropic l'écrit elle-même : ces méthodes réduisent les hallucinations sans les éliminer, et toute information critique doit être validée, surtout quand une décision importante en dépend.

Notre lecture

Pour une petite entreprise, les techniques 1 à 3 sont les plus rentables, car elles tiennent en quelques phrases ajoutées à un prompt existant. Un cabinet qui fait résumer des contrats, ou un service client qui répond à partir d'une base documentaire, peut les combiner : documents fournis, interdiction de sortir de ces documents, citation obligatoire, phrase convenue en cas d'information absente.

Le bénéfice le plus concret est la relecture. Une réponse où chaque point renvoie à un passage cité se contrôle en quelques minutes, alors qu'une réponse sans référence oblige à relire tout le document. C'est ce gain de temps de vérification, plus que la promesse d'un modèle qui ne se trompe plus, qui justifie l'effort.

La comparaison de plusieurs réponses est à réserver aux cas où l'erreur coûte cher, car elle multiplie la facture par le nombre d'exécutions. Dans tous les cas, la validation humaine reste la dernière étape.