Joy Buolamwini, doctorandus aan het MIT, presenteerde op de inaugurele FAT-conferentie (Fairness, Accountability, Transparency) in New York in februari 2018 verbazingwekkende onderzoeksresultaten over algoritmische gelijkheid. Het onderzoek leverde haar al een uitnodiging voor het Witte Huis en een TED Talk op.
In de paper die ze presenteerde op de FAT-conferentie liet Joy zien hoe gezichtsherkenningsalgoritmen kunnen leiden tot discriminatieproblemen op basis van geslacht en huidskleur.
Â
De 2 belangrijkste bijdragen van dit onderzoek
Technisch gezien kunnen twee bijdragen worden onderscheiden:
- de samenstelling van een dataset van 1270 personen in 6 landen, die een nauwkeurigere weergave bieden van variaties in huidskleuren
- een benchmark van bestaande gezichtsherkenningsalgoritmen (IBM Watson, Microsoft, Face++) op basis van een test met bovenstaande dataset
Beschrijving van de onderzoeksmethode
De eerste stap was het evalueren van de “officiële” gegevensbronnen die gezichten bevatten om de algoritmen te testen. In de Verenigde Staten is de dataset IJB-A (die momenteel niet gedownload mag worden) een officiële bron van openbare gegevens. De analyse ervan toonde een over-representatie van mannen met een lichtere huid en een onder-representatie van personen met een donkerdere huid.
Deze observatie leidde tot de beslissing om een specifieke, meer evenwichtige dataset te ontwikkelen die gebruikt zou worden om de op de markt beschikbare gezichtsherkenningsalgoritmen te testen: die van IBM, Microsoft en Face++.
Resultaten: Gezichtsherkenningsalgoritmen zijn vertekend
De resultaten tonen duidelijk aan dat de commerciële algoritmen vertekend zijn (zie onderstaande tabel die de relatieve precisie van de 3 algoritmen toont).
| Nauwkeurigheid van algoritmen | Mannen met een donkere huid | Vrouwen met een donkere huid | Mannen met een lichte huid | Vrouwen met een lichte huid |
| IBM | 88% | 65,3% | 99,7% | 92,9% |
| Face++ | 99,3% | 65,5% | 99,2% | 98,3% |
| Microsoft | 94% | 79,2% | 100% | 98,3% |
Waarom is dit onderzoek belangrijk?
Dit onderzoek is belangrijk omdat het de realiteit van vertekeningen in zakelijke algoritmen belicht, vertekeningen die waarschijnlijk een aanzienlijk percentage van de bevolking zullen treffen.
Het is ook belangrijk vanwege de reacties die het heeft gekregen van de bedrijven die deze algoritmen op de markt hebben gebracht. Nadat de drie bedrijven (IBM, Face+++ en Microsoft) op de hoogte waren gebracht van de resultaten, reageerde alleen IBM constructief en zocht naar verbetering van het algoritme.
De verbeterde versie van het gezichtsherkenningsalgoritme van IBM was veel beter, met een nauwkeurigheid van respectievelijk 98%, 96,5%, 99,8% en 100% voor mannen met een donkere huid, vrouwen met een donkere huid, mannen met een lichte huid en vrouwen met een lichte huid.
Â
Conclusies
Kortom, dit is wat we uit dit onderzoek moeten onthouden:
- Het ontwikkelen van gezichtsherkenningsalgoritmen is voornamelijk gebaseerd op personen met een lichte huid. Deze algoritmen, die bijvoorbeeld in sensoren van digitale camera’s zijn ingebouwd, veroorzaken daarom prestatieverlies als het gaat om het fotograferen van onderwerpen met een donkerdere huid.
- Gezichtsherkenningsalgoritmen lijden aan gendervertekening: het herkenningspercentage is het hoogst bij mannen, maar er is een verlies van precisie op vrouwelijke gezichten.
- Commerciële gezichtsherkenningsalgoritmen vertonen extreme vertekening en slechte resultaten bij het analyseren van donkere gezichten
- IBM was het enige bedrijf dat bereid was om zijn algoritmen te verbeteren. Microsoft en Face++ wezen hun aansprakelijkheid beleefd af, verwijzend naar de voorwaarden en bepalingen van het gebruik van hun tools.
- Zelfs officiële gegevens kunnen vertekend zijn: vertrouw ze niet blindelings.
Afbeelding: shutterstock
Posted in Diverse.
