Hallucination (IA)

Hallucination (IA) : les enjeux pour la PME

L’ANSSI définit l’hallucination comme le « phénomène dans lequel un modèle génère du contenu erroné qui n’est pas basé sur des données réelles ». La documentation de Claude reconnaît que même les modèles les plus avancés peuvent produire des textes factuellement faux ou incohérents avec le contexte fourni. Le risque tient moins à l’erreur qu’à sa forme : la réponse fausse est aussi fluide et assurée que la réponse juste.

Pour une PME, les zones sensibles sont connues : chiffres, références juridiques, dates, noms, citations. Un courrier qui cite un texte inexistant ou une offre qui reprend une caractéristique produit erronée engage l’entreprise. La recommandation R9 de l’ANSSI proscrit l’usage automatisé de systèmes d’IA pour des actions critiques sur le système d’information, et le guide demande un contrôle humain pour les décisions à fort impact métier.

Plusieurs pratiques réduisent le risque, selon la documentation de Claude : autoriser le modèle à dire qu’il ne sait pas, lui demander de citer une source pour chaque affirmation, le limiter aux documents fournis. Le RAG va dans ce sens. La même documentation précise que ces techniques ne suppriment pas totalement les hallucinations et invite à toujours valider les informations critiques.

Notre grille de relecture tient en trois questions : quels chiffres, noms et références la réponse contient-elle ? Chacun est-il vérifiable dans une source que nous détenons ? Qui signe le document final ? Cette règle a sa place dans la charte IA de l’entreprise et dans tout projet d’intelligence artificielle.

Exemple

Une PME fictive de formation professionnelle de 20 personnes fait rédiger par l’IA une note de veille de 4 pages citant 9 textes réglementaires. La relecture montre que 7 références sont exactes, qu’une est mal datée et qu’une n’existe pas. L’entreprise instaure une règle : toute référence est vérifiée à la source avant envoi, ce qui ajoute 20 minutes de relecture par note.