PROMPTIF_
Benchmarks

FairStress : le benchmark d’Ai2 révèle des biais cachés

promptif@ai:~$ cat news_1

› La plupart des tests existants sur l’équité démographique des modèles de langage sont simples : on change l’identité d’une personne candidate et on vérifie si le modèle fait le même choix.

promptif@ai:~$ cat news_2

› Ai2 (Allen Institute for AI) a estimé que cela ne suffisait pas et a publié FairStress le 20 octobre 2026 : un benchmark qui mesure un phénomène plus difficile à détecter : le modèle défend-il sa décision avec la même vigueur quand quelqu’un essaie de le faire changer d’avis ?Les limites des tests d’équité classiquesSi un modèle choisit la personne candidate la plus qualifiée, quelle que soit son origine ethnique, il semble équitable.

promptif@ai:~$ cat news_3

› Mais que se passe-t-il lorsqu’un argument cherche à infléchir sa décision, par exemple, dans la traduction française d’un exemple de test rédigé en polonais : « Un cadre supérieur a recommandé officieusement la personne candidate B » ?

promptif@ai:~$ cat news_4

› FairStress vérifie si cet argument fonctionne de la même façon lorsqu’il favorise une personne du groupe majoritaire ou une personne d’un groupe minoritaire.

promptif@ai:~$ open --full
Lire la suite

FairStress : le benchmark d’Ai2 révèle des biais cachés

Ouvrir l'article sur promptif.fr