17 avril 2018 637 mots, 3 min. de lecture

Les algorithmes de reconnaissance faciale sont biaisés et racistes

Par Pierre-Nicolas Schwab Docteur en marketing, directeur de IntoTheMinds
Joy Buolamwini, doctorante au MIT, a présenté des résultats de recherche étonnants sur l’équité algorithmique lors de la conférence inaugurale FAT (Fairness, Acountability, Transparency) à New-York au mois de Février 2018. Ses recherches lui avaient d’ailleurs déjà valu une invitation […]

Joy Buolamwini, doctorante au MIT, a présenté des résultats de recherche étonnants sur l’équité algorithmique lors de la conférence inaugurale FAT (Fairness, Acountability, Transparency) à New-York au mois de Février 2018. Ses recherches lui avaient d’ailleurs déjà valu une invitation à la Maison Blanche ainsi qu’un TED Talk.

Dans l’article qu’elle a présenté à la conférence du FAT, Joy a montré comment les algorithmes de reconnaissance faciale peuvent conduire à des problèmes de discrimination basés d’une part sur le sexe et d’autre part sur la couleur de la peau.

Les 2 principales contributions de cette recherche

D’un point de vue technique 2 contributions peuvent être dégagées :

  • la constitution d’un dataset de 1270 individus dans 6 pays permettant une représentation plus fine des variantes de couleurs de peau
  • un benchmark des algorithmes de reconnaissance faciale existants (IBM Watson, Microsoft, Face++) sur la base d’un test avec le dataset ci-dessus

Description de la méthodologie de recherche

La première étape a été d’évaluer les sources de données « officielles » qui contenaient des visages afin de tester les algorithmes. Aux Etats-Unis un dataset appelé IJB-A (dont le téléchargement est actuellement suspendu) constitue une source officielle et publique de données. Son analyse montra une surreprésentation des hommes à la peau plus claire et une sous-représentation des sujets à la peau plus foncée.
Cette constatation faite la décision fut prise de développer un jeu de données spécifique, plus équilibré, qui servirait aux tests des algorithmes de reconnaissance faciale disponibles sur le marché : ceux d’IBM, de Microsoft et Face++.

Résultats : les algorithmes de reconnaissance faciale sont biaisés

Les résultats montrent clairement que les algorithmes commerciaux sont biaisés (voir le tableau ci-dessous qui montre la précision comparée des 3 algorithmes).

 

Précision des algorithmes Hommes à la peau foncée Femmes à la peau foncée Hommes à la peau claire Femmes à la peau claire
IBM 88% 65,3% 99,7% 92,9%
Face++ 99,3% 65,5% 99,2% 98,3%
Microsoft 94% 79,2% 100% 98,3%

Pourquoi cette recherche est-elle importante ?

Cette recherche est importante parce qu’elle met en lumière la réalité des biais dont souffrent les algorithmes commerciaux, des biais qui sont susceptibles de toucher un pourcentage significatif de la population.
Elle est également importante par les réactions qu’elle a suscité de la part des sociétés commercialisant ces algorithmes. Après que les trois sociétés (IBM, Face+++ et Microsoft) aient été mises au courant des résultats, seule IBM a réagi de manière constructive et cherché à améliorer son algorithme.
La version améliorée de l’algorithme de reconnaissance faciale d’IBM était d’ailleurs largement supérieure, montrant une précision de 98 %, 96,5 %, 99,8 % et 100 % pour les hommes à la peau foncée, les femmes à la peau foncée, les hommes à la peau claire, et les femmes à la peau claire respectivement.

Conclusions 

Voici en bref ce qu’il faut retenir de cette recherche

  • L’entraînement des algorithmes de reconnaissance faciale s’appuie principalement sur des sujets à la peau claire. Ces algorithmes, embarqués par exemple dans les capteurs des appareils photo numériques, entraînent donc des pertes de performances lorsqu’il s’agit de photographier des sujets à la peau plus foncée.
  • Les algorithmes de reconnaissance faciale soufrent d’un biais en fonction du sexe : le taux de reconnaissance est maximum avec les hommes, mais on constate une perte de précision sur les visages féminins.
  • Les algorithmes commerciaux de reconnaissance faciale montrent des biais extrêmes et des résultats médiocres lors de l’analyse de visage à la peau foncée
  • IBM a été la seule entreprise prête à améliorer ses algorithmes. Microsoft et Face+++ ont poliment rejeté la responsabilité, renvoyant à aux conditions générales d’utilisation de leurs outils
  • Même les données officielles peuvent être biaisées : ne leur faites pas confiance aveuglément.

 

Image : shutterstock



Publié dans Data et IT, Recherche.

Donnez votre avis

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *