In onze vorige blog haalden we al kort de nadelen aan van de verwerking van big data. In het tweede artikel van onze big data reeks wordt dieper ingegaan op een sociaal en ethisch vraagstuk dat zich kan voordoen in een big data context, namelijk discriminatie.
Toepassingen van big data-technieken kunnen een ongelijke behandeling zowel verminderen als bevorderen. In beginsel hebben de computersystemen waarmee big data wordt verwerkt geen ingebouwde vooroordelen. Dit heeft als gevolg dat toepassingen van deze computersystemen kunnen vermijden dat beslissingen (on)bewust worden genomen op basis van vooroordelen. Echter, wanneer de gegevens die worden verzameld al vooringenomen zijn, kan de conclusie van de big data analytics tool ook niet anders dan vooringenomen zijn.
Biased data
Door het gebruik van big data analytics en data mining kan worden gezocht naar tot dusver onbekende verbanden. Echter, het probleem is dat vaak gebruik wordt gemaakt van biased data, gegevens die niet representatief zijn. Wanneer de slechte kwaliteit van de gegevens niet wordt herkend en aangepakt, kan een slechte gegevenskwaliteit leiden tot een onnauwkeurige of zelfs onjuiste voorspelling.
Bijvoorbeeld, wanneer de politie vooral surveilleert in wijken waar veel etnische minderheden wonen, zullen de politiebestanden vooral gevuld raken met gegevens van deze etnische minderheden. Wanneer deze gegevens vervolgens gebruikt worden om risico’s te voorspellen, zullen deze etnische minderheden een verhoogd risico tonen op criminaliteit.
Discriminatiewetgeving en Big Data
Wanneer de besluitvormingsmodellen gebaseerd zijn op biased data, kan dit problematisch zijn en discriminatie in de hand werken, zoals wordt aangetoond in bovenstaand voorbeeld. Mag er dan wel gebruikt gemaakt worden van big data?
Onder de Belgische anti-discriminatiewetgeving is elk (in)direct onderscheid op grond van een van de zogenoemde ‘beschermde’ criteria (bv. geslacht, ras, seksuele geaardheid, geloof of levensbeschouwing, politieke overtuiging,…) verboden.
Hieruit kan afgeleid worden dat alvast geen van deze criteria mag worden opgenomen in een besluitvormingsmodel indien er op basis daarvan geselecteerd wordt en dit dus voor discriminatie kan zorgen.
Recidive software
Een bekend voorbeeld van het gebruik van big data is het gebruik van recidive software in de Verenigde Staten. Deze software wordt gebruikt om in te schatten hoe groot de kans dat een veroordeelde opnieuw een misdrijf zou begaan.
Uit onderzoek is gebleken dat de recidive software personen met een donkere huidskleur structureel een hogere risico-score geeft dan aan personen met een witte huidskleur, ongeacht eerdere veroordelingen. Personen met een donkere huidskleur komen sowieso al vaker in contact met de politie, door racisme of door het targetten van bepaalde buurten door politiepatrouilles, waardoor zij vaker in databank van de politie terechtkomen en de kans dus groter lijkt dat ze opnieuw een misdrijf zouden begaan.
Conclusie
Er mag dus niet zo maar vertrouwd worden op de resultaten van big data analytics of enig andere techniek om big data te verwerken. Het is belangrijk dat we kritisch blijven en niet zo maar alles voor waar aannemen.
Meer transparantie vanwege de overheid of bedrijven zou hierin kunnen helpen. Zo kunnen het bedrijf of overheid op hun website informatie publiceren naar welke kenmerken de modellen opzoek zijn, alsook welke data gebruikt wordt. Overheden en bedrijven zouden altijd moeten kunnen uitleggen hoe besluiten tot stand komen. Alleen dan kunnen we zorgen dat technologie bijdraagt aan een menselijke samenleving.
Meer weten over big data en discriminatie? Twijfel niet om ons te contacteren op hallo@dejuristen.be of lees onze volgende blog in deze reeks!
Geschreven door Tiara Beelprez en Johanna Coppens, Legal Advisers deJuristen, en Kris Seyen, Partner deJuristen
