Guide
Biais de l'IA : éviter une discrimination
Comment un outil d'IA peut reproduire des biais dans une note, un tri ou un refus, et quels critères de discrimination interdits le dirigeant doit connaître.
Mis à jour le
Un biais est une tendance systématique qui fausse un résultat. Dans un assistant d'IA, il vient souvent des données sur lesquelles l'outil a appris, ou de la façon dont la demande est formulée. Pour une petite entreprise, le risque est concret : une note de fidélité qui pénalise un quartier, un tri de candidatures qui écarte un profil, une réponse plus froide pour certains clients. Ce qui compte n'est pas l'intention de l'outil, mais le résultat pour la personne.
Où le biais apparaît
Trois usages sont à surveiller en priorité :
- le tri de candidatures : l'outil classe des CV, propose un score ou un ordre ;
- la notation de clients : l'outil attribue une note de risque, une priorité de rappel ou une remise ;
- les décisions sur un salarié : évaluation, planning, sanction, promotion.
Dans les trois cas, une décision qui touche une personne doit être prise et expliquée par un humain. Un score produit par un outil n'est qu'une information parmi d'autres.
Pourquoi c'est difficile à voir
La CNIL signale l'effet boîte noire : on voit la réponse, pas la raison qui l'a produite. Le biais ne se repère donc pas en lisant une seule sortie. Il apparaît quand on compare plusieurs cas et qu'on regarde les écarts. C'est une méthode de contrôle, pas une lecture rapide.
La CNIL rappelle aussi la vigilance à garder sur les sorties, y compris sur l'absence de biais discriminatoires. Elle recommande de vérifier ce point avant de reprendre un résultat.
Les critères interdits
Selon Service-Public, il existe 25 critères de discrimination prohibés par la loi. Les regrouper aide à les repérer dans une grille :
| Famille | Exemples de critères |
|---|---|
| Origine et identité | Origine, ethnie, nation, nom, langue parlée |
| Situation personnelle | Sexe, âge, situation de famille, grossesse, apparence physique, orientation sexuelle |
| Santé | État de santé, handicap, perte d'autonomie |
| Convictions | Religion, opinions politiques, activités syndicales, lancement d'alerte |
| Situation sociale | Vulnérabilité économique, lieu de résidence |
Ces critères ne doivent pas servir de motif, même indirectement. Un code postal, un prénom ou une tranche d'âge peuvent jouer ce rôle quand ils servent de substitut à un critère interdit. Dans le doute, retirez la variable.
Ce que la loi prévoit
Toujours selon Service-Public, la discrimination est punie pénalement dans le secteur privé : jusqu'à 3 ans de prison et 45 000 € d'amende pour une personne physique, et une amende pouvant atteindre 225 000 € pour une personne morale. La page indique aussi des voies de recours : saisine du conseil des prud'hommes pour un salarié, délai de 5 ans selon la page, et saisine gratuite du Défenseur des droits au 3928. Ces éléments sont un résumé de la source ; le texte complet et les conditions d'application se vérifient sur la page officielle.
Méthode pour un tri de candidatures
- Rédigez les critères de décision avant d'utiliser l'outil : compétences, expérience utile, disponibilité.
- Retirez du dossier tout ce qui relève d'un critère interdit : âge, photo, nom, adresse, situation de famille.
- Demandez à l'outil de classer selon les seuls critères écrits, et de justifier chaque classement.
- Relisez les écarts : un candidat éliminé par l'outil doit pouvoir être expliqué par un motif lié au poste.
- Gardez une trace de la décision, prise par une personne nommée.
Pour l'annonce elle-même, la page recrutement du réseau Savoir IA reprend les points à éviter dans le texte.
Liste de vérifications
- Les critères de décision sont écrits avant tout tri par l'outil.
- Aucun critère interdit n'est présent dans les données envoyées.
- Les écarts entre groupes de personnes ont été comparés.
- Une personne est désignée pour chaque décision, et elle peut la justifier.
- Le résultat de l'outil n'est jamais la décision seule.
Ce qui reste à vous
Le choix des critères, la décision et son explication appartiennent au dirigeant. Un outil peut aider à écrire une grille ; il ne doit pas la fixer seul. Pour les risques de fuite lors de la saisie des dossiers, voir la page fuite de données. Pour une erreur déjà commise, la page incident donne les étapes.
Questions fréquentes
Un outil d'IA peut-il discriminer sans que personne le veuille ?
Oui. La CNIL signale que l'effet boîte noire complique la détection des biais. Une sortie peut donc paraître correcte tout en défavorisant certaines personnes. La relecture humaine et les critères de décision écrits réduisent ce risque.
Combien de critères de discrimination sont prohibés par la loi ?
Service-Public indique qu'il en existe 25. La liste comprend notamment l'origine, le sexe, l'âge, la santé, le handicap, la religion et les opinions politiques.
Le dirigeant peut-il laisser l'outil trier des candidatures ?
Il peut s'en servir pour rédiger une annonce ou une grille de critères. Il ne doit pas écarter un candidat sur un critère prohibé. La décision de recrutement reste humaine et doit pouvoir être expliquée.
Sources
Pages consultées pour écrire cet article :