Guide
Réponses fausses de l'IA : repérer et vérifier
Pourquoi un assistant d'IA peut inventer une réponse plausible, comment la repérer et la vérifier avant de la reprendre dans un devis ou un document.
Mis à jour le
Une réponse fausse produite par un assistant d'IA ressemble souvent à une bonne réponse : phrases claires, termes justes, références qui semblent sérieuses. C'est le risque le plus courant pour une petite entreprise, parce que la réponse fausse arrive vite et qu'elle est lue par une personne pressée. Avant de reprendre une information dans un devis, une fiche produit, une réponse à un client ou une note interne, il faut la vérifier contre une source officielle ou un document de l'entreprise.
Pourquoi l'outil se trompe
Un assistant d'IA génératif ne consulte pas une base de faits comme un dictionnaire. Il produit le texte le plus probable à partir de ce qu'il a appris. La CNIL explique que ce fonctionnement probabiliste peut produire des erreurs crédibles, appelées hallucinations. Le risque augmente pour les informations absentes des données d'apprentissage, comme les événements récents.
Deux types d'erreurs reviennent le plus souvent :
- une référence inventée : un article de loi, un numéro, une décision de justice, une page web qui n'existe pas ;
- une règle devenue fausse : un délai, un seuil ou une obligation qui était exact hier et ne l'est plus.
Le second cas est fréquent dès que le sujet est réglementaire. La page sur les règles européennes montre pourquoi une date doit toujours être lue sur la source, à la date du contrôle.
Le biais d'automatisation
La CNIL met en garde contre une confiance excessive dans les résultats d'un système d'IA sans vérification appropriée. Elle parle de biais d'automatisation : on accepte la réponse parce qu'elle est fluide et rapide. Dans une équipe pressée, la relecture est la première étape qui saute. La vérification doit donc être une étape écrite dans la procédure, pas une bonne intention.
Méthode de vérification
Tous les contenus ne demandent pas le même effort. Adaptez le contrôle au risque de l'erreur.
| Type d'information | Risque si elle est fausse | Vérification |
|---|---|---|
| Tournure de phrase, plan, trame | Faible | Relecture par le dirigeant ou un collaborateur |
| Chiffre, prix, délai | Élevé | Comparer avec le devis, la grille tarifaire ou le contrat |
| Règle, obligation, seuil | Élevé | Lire le texte sur le site officiel cité, à la date du jour |
| Nom, référence, citation | Élevé | Retrouver la source ; si elle n'existe pas, supprimer la phrase |
| Appréciation sur un salarié ou un client | Très élevé | Ne pas confier la décision à l'outil |
Pas à pas :
- Repérez chaque phrase de la réponse qui contient un fait : un chiffre, une date, un nom, une obligation.
- Cherchez la source primaire : le texte, le contrat, le site officiel. Une autre réponse d'IA n'est pas une source.
- Vérifiez la date de la source. Une règle lue il y a longtemps peut avoir changé.
- Si la source n'existe pas, ou dit autre chose, retirez la phrase ou corrigez-la.
- Notez la date de vérification et la source dans le document, pour pouvoir le refaire.
Demander à l'outil « es-tu sûr ? » ne sert à rien. La réponse est une nouvelle production, pas une preuve.
Un exemple de vérification
Exemple fictif. Une assistante prépare une réponse à un client qui demande les conditions de paiement d'une prestation. L'outil propose un délai et une mention de pénalités. Avant d'envoyer, elle compare avec les conditions générales de vente de l'entreprise, puis vérifie la règle légale sur la source officielle. Le délai de l'outil ne correspond pas aux conditions de l'entreprise : elle garde celles de l'entreprise et signale le point au dirigeant. Dans cet exemple, la vérification a évité un engagement que l'entreprise n'avait pas pris.
Ce qu'il ne faut jamais faire
La CNIL recommande de ne jamais reproduire telles quelles les sorties de ces systèmes. Une réponse de l'outil est un brouillon à relire, pas un document signé.
Dans un devis, une erreur de montant ou de condition engage l'entreprise. Dans une réponse à un client, une information fausse peut créer un litige. Si une erreur a déjà été envoyée, suivez les étapes de la page que faire après une erreur grave.
Liste de vérifications
- Chaque chiffre a une source ou un document interne.
- Chaque règle renvoie à un texte officiel lu à la date du contrôle.
- Aucune référence n'a été acceptée sans avoir été retrouvée.
- Une personne qui connaît le sujet a relu le texte final.
- Aucune donnée personnelle n'a été saisie pour obtenir la réponse (voir la page fuite de données).
Qui décide
L'outil propose, la personne qui signe décide. Le dirigeant reste responsable de ce qui part de son entreprise. Pour la question de la responsabilité, la page responsabilité du dirigeant du réseau Savoir IA reprend ce point.
Questions fréquentes
Une réponse bien rédigée peut-elle être fausse ?
Oui. La CNIL rappelle que les modèles génératifs produisent des erreurs crédibles, et que la qualité de la forme ne prouve rien sur l'exactitude du fond.
Faut-il demander à l'outil de vérifier sa propre réponse ?
Non. Une nouvelle réponse de l'outil n'est pas une preuve. Il faut une source externe : texte officiel, contrat, grille tarifaire ou document de l'entreprise.
Combien de réponses faut-il comparer ?
La CNIL donne en exemple un outil qui propose au moins deux réponses, pour garder l'esprit critique. Pour un fait important, la comparaison ne suffit pas : il faut la source officielle.
Sources
Pages consultées pour écrire cet article :