Het schandaal van selectie-algoritmes aan Franse universiteiten aan het licht gebracht

Big Data-technologieën en vooral algoritmes die gegevens ophalen krijgen veel kritiek van hen die vrijheid voorstaan. Zelf had ik het er ook al over in een artikel waarin ik meer transparante algoritmes eiste.

De Franse krant Libération (artikel in het Frans) had het zopas over de druk waartegen de minister van onderwijs moet opboksen om toegang te geven tot de code van zijn algoritme “APB”. Dat laatste wordt door universiteiten (en andere richtingen, zoals BTS en voorbereidende klassen) gebruikt om hun eerstejaarsstudenten uit de middelbare school te kiezen. De gebruikte variabelen in dit algoritme waren geheim tot een studentenvereniging, ondersteund door de advocaat Jean Merlet-Bonnan uit Bordeaux, erin slaagde een handleiding van 200 pagina’s in handen te krijgen met daarin details over de gebruikswijze van het selectie-instrument.

De variabelen gebruikt in het selectie-algoritme

De handleiding, in technische taal geschreven, geeft de belangrijkste criteria om bachelors te selecteren (in het Frans):

1. Geografische zone van herkomst (de term “zone” is hier vrij te personaliseren gebied)
2. Is de student in “heroriëntering”? (m.a.w. is de student van richting veranderd wegens een onvoldoend resultaat)
3. Toelatingscriteria opgelegd voor bepaalde richtingen, zoals een minimaal Engels niveau

Het toelatingsproces wordt voortgezet met behulp van lijsten die werden opgesteld op basis van bepaalde vrije criteria, zoals land van herkomst, leeftijd, derde voornaam, …

Perfect voorbeeld van een “partijdig algoritme”

Ik weet niet of we een instrument dat elke gebruiker kan aanpassen om zijn eigen doel te bereiken een “algoritme” kunnen noemen. Voor mij moet een algoritme “antwoorden” kunnen geven die bij elke gebruiker homogeen zijn.

Het instrument gebruikt door het ministerie van Onderwijs lijkt me in die context slecht ontworpen. Met de schijn van gelijke behandeling (het instrument kiest in alle objectiviteit) kunnen gebruikers van het instrument toegangsvariabelen wijzigen om het gewenste resultaat te verkrijgen. In plaats van een proces met gelijke behandeling, geven deze codes een discretionaire macht waarmee men  gewenste kandidaten kan selecteren en anderen in het geheim kan weigeren, waarbij men zich geheel indekt door de software.

Uit principe geef ik geen commentaar op selectiecriteria als “geboorteland”. Om op een concrete afwijking terug te komen, geeft Libération een voorbeeld dat tot nadenken moet stemmen. De zone van oorsprong kan vrij aangepast worden door de universiteit om er een meer of minder grote zone aan toe te voegen, bijvoorbeeld een beperking naar bepaalde scholen. Ik denk niet dat er een beter voorbeeld van “partijdigheid bij selectie” bestaat.

Besluit

Dit voorbeeld illustreert perfect de gevaren van algoritmes als ze slecht zijn ontworpen en vooral slecht worden gebruikt. Hier werd een ondoorzichtig algoritme ontworpen en vervolgens ter beschikking gesteld van gebruikers die er naar eigen goeddunken aanpassingen aan kunnen doen om vertrouwelijke resultaten te verkrijgen.

Alles in dit voorbeeld is verkeerd. Dat is waarom transparantie en ethiek meer dan ooit nodig zijn betreffende Big Data en algoritmes.

Door Pierre-Nicolas Schwab Pierre-Nicolas is de directeur van de marketing agentschap IntoTheMinds. Hij heeft speciaal interesse voor e-commerce, retail, HoReCa en supply-chain projecten. Hij is ook een onderzoeker aan de Vrije Universiteit Brussel en werkt ook als coach voor meerde publieke organisaties. Hij verwelkomt Linkedin uitnodigingen : gelieve gewoon een paar woorden toe te voegen en uit te leggen waarom U wilt connecteren.