Ik nam deel aan het Maastricht European Centre on Privacy and Cybersecurity waar ik een ontmoeting had met professor Alessandro Mantelero van de Polytecnico di Torino.
Prof. Mantelero is een bekend specialist betreffende bescherming van persoonsgegevens, een onderwerp dat in de belangstelling staat door de nieuwe wet op de persoonsgegevens (GDPR), die vanaf mei 2018 van kracht zal zijn.
In zijn presentatie onderstreepte hij onder meer de partijdigheid van algoritmes en de noodzaak om dat te vermijden. Via voorbeelden uit de verzekeringssector (zwarte dozen) en het domein van de criminaliteit (voorspellingsalgoritmes van criminaliteiten) toonde Alessandro aan dat algoritmes sommige groepen kunnen discrimineren.
Zwarte dozen in auto’s, bron van discriminatieÂ
Zo bijvoorbeeld kunnen zwarte dozen in wagens trajecten (op basis van GPS-coördinaten) en wijken en tijdstippen herkennen waar de grootste kans bestaat dat er ongevallen gebeuren. Het voorbeeld dat Alessandro aanhaalde was alleszeggend: we kunnen ons een algoritme voorstellen dat een grotere kans op ongevallen berekent voor zwarten die ’s nachts rijden. Die hogere kans is ongetwijfeld te wijten aan het feit dat het donker is, maar ook aan het gebruik van alcohol of verboden middelen. De zwarte doos ontdekt natuurlijk niet die laatste oorzaken. Bijgevolg zijn de voorspellingen enkel gebaseerd op de data die verkregen zijn: GPS-gegevens en het tijdstip bijvoorbeeld. Het algoritme dat zich baseert op de socio-demografische gegevens zou kunnen besluiten dat mensen die in een bepaalde wijk wonen en ‘s nachts rondrijden meer kans hebben op een ongeval en dus een hogere premie moeten betalen. Dus in wijken met een bepaalde etnische homogeniteit zouden zwarten die ‘s nachts moeten gaan werken benadeeld kunnen worden, ook al gebruiken ze geen alcohol
De causaliteit is het probleem
Het probleem in bovenstaand voorbeeld is de causaliteit. De zwarte doos kan niet weten of u alcohol hebt gedronken. Alcohol en verdovende middelen zijn de echte reden van het ongeval. Dat heeft niets te maken met de afkomst van een persoon of de kleur van zijn huid. Maar dat weet het algoritme niet. Dat gebruikt andere variabelen om ongevallen te voorspellen en het is de combinatie van die variabelen (proxys) die tot discriminatie leiden. Dat is het probleem van Big Data. Aangezien causaliteit 20 jaar (en zelfs langer) geleden de kern was van het werk van sociologen en statistici, is causaliteit niet iets wat we vandaag proberen te begrijpen. Big Data geven de illusie dat we objectieve gegevens verkrijgen, terwijl die laatste eigenlijk helemaal uit hun context zijn gehaald.
Is discriminatie inherent aan elk soort algoritme?
De vraag die ik me daarbij stelde was: « zijn algoritmes van nature discriminerend? »
Algoritmes zijn in wezen geprogrammeerd om groepen van personen te herkennen (segmenten of clusters) en zo een meer persoonlijke relatie op te bouwen. Daar is niets fout mee. Wil wordt niet liever behandeld als een persoon dan als een nummer?
Waar het schoentje wringt is wanneer algoritmes gedragsvariabelen gebruiken waarmee bepaalde personen of groepen worden geïsoleerd; met ander woorden als de combinatie van die variabelen leidt tot het isoleren van een groep personen op basis van hun uiterlijk, eerder dan hun gedragingen.
Hoe algoritmische discriminatie vermijden
Alessandro Mantelero stelde voor om algoritmes te testen en de resultaten te boordelen op hun discriminerend karakter. Een wijze raad. Fabrikanten van geneesmiddelen testen hun producten voortdurend, zelfs als die op de markt zijn. Waarom zou het anders moeten zijn voor producenten van algoritmes?
Afbeelding: shutterstock
Posted in big data, Innovation.
