China is het eerste en tot nu toe enige land ter wereld waar A.I. wordt ingezet om systematisch een bevolkingsgroep te monitoren en te vervolgen. Hoewel alle Chinezen in de gaten worden gehouden door een steeds dichter web van camera’s, heeft de overheid het met name voorzien op de Oeigoeren, een overwegend islamitische minderheid die vooral in de regio Xinjiang woont. Een belangrijk middel bij deze massasurveillance is gezichtsherkenning: de camerabeelden worden geanalyseerd door kunstmatige intelligentie om zo de Oeigoeren eruit te pikken. Zij zijn herkenbaar voor A.I. omdat ze een andere gezichtsvorm hebben dan andere Chinezen.

Mede dankzij deze surveillance kan China de Oeigoeren niet alleen op afstand volgen, maar ze ook vervolgen en arresteren: als er in een wijk in een van de welvarende Chinese steden veel Oeigoeren worden gesignaleerd, kan dat een aanleiding zijn voor politiecontroles. Zelfs het dragen van een baard of het lezen van de Koran is dan al reden voor opsluiting in een van de honderden strafkampen voor Oeigoeren in China, waarvan er de laatste drie jaar 380 zijn bijgebouwd, zo blijkt uit een analyse van satellietbeelden door de Australische denktank Australian Strategic Policy Institute (ASPI). Op dit moment zitten meer dan een miljoen mensen in die kampen, van de elf miljoen Oeigoeren die in China wonen.

China wil kunstmatige intelligentie voeden met DNA van individuele Oeigoeren

De Oeigoeren worden niet alleen opgesloten in deze kampen, maar ook onderworpen aan een inhumaan gevangenisregime. Zo worden vrouwen soms tegen hun zin gesteriliseerd, volgens experts met als doel deze hele bevolkingsgroep, om het boud te zeggen, uit te roeien.

Wat deze vervolging met behulp van A.I. extra bedreigend maakt, is dat China volgens experts uiteindelijk kunstmatige intelligentie wil voeden met DNA van individuele Oeigoeren, zo meldt The New York Times. A.I. kan nu al op basis van DNA een ruwe schets maken van een gezicht, maar in de toekomst moet dat zodanig geperfectioneerd zijn dat er een match mogelijk wordt tussen een dergelijk beeld en een individu. Vervolgens kan zo’n persoon opgespoord worden via de camera’s overal in het land. Dat kan gaan om verdachten van criminele activiteiten, maar net zo goed om dissidenten.

Nu al is China bezig een DNA-databank van Oeigoeren aan te leggen. Zij worden in de kampen daarom steeds vaker verplicht om bloed af te geven, wat ze niet kunnen weigeren omdat het deel uitmaakt van een verplicht gezondheidsonderzoek. Daarmee druist deze bloedafname ook in tegen het mensenrecht dat je zelf mag bepalen wat er met je lichaam gebeurt.

Predictive policing in Roermond

Het gebruik van dit soort technologieën beperkt zich niet tot landen zoals China, dat bekendstaat als schender van mensenrechten. Ook in de VS en in Europa, en óók in Nederland, wordt kunstmatige intelligentie gebruikt die bepaalde bevolkingsgroepen eruit moet pikken, om die beter in de gaten te kunnen houden en te kunnen vervolgen als er criminele activiteiten worden vastgesteld. Een voorbeeld daarvan is het Sensing-project in Roermond, om onder meer diefstal, drugshandel en zakkenrollen tegen te gaan. Amnesty International heeft hier uitgebreid onderzoek naar gedaan en noemt het project een voorbeeld van ‘de automatisering van etnisch profileren’.

Hoe dat zit? Camera’s in Roermond registeren passerende auto’s en A.I. laat alle alarmbellen afgaan bij de politie als er een auto met een Oost-Europees nummerbord langskomt, zeker als het gaat om een kleine, witte auto van drie tot vijf jaar oud. De veronderstelling is namelijk dat misdaden als diefstal, drugshandel en zakkenrollen meestal worden gepleegd door mensen uit de Roma-gemeenschap en/of van Oost-Europese afkomst.

Het kwalijke hieraan is dat het principe van onschuld, de basis van onze rechtstaat, wordt losgelaten. Mensen worden niet als verdacht beschouwd vanwege hun daden, maar omdat ze vanwege bepaalde kenmerken – zoals een type nummerplaat – als hoog risico worden gezien. Het idee is dat hun profiel erop wijst dat ze mogelijk een misdaad zullen begaan.

Dit algoritme stelt geen misdaden vast, maar voorspelt ze. Daarmee is het Sensing-project een voorbeeld van predictive policing, een trend die zich wereldwijd steeds meer aan het ontwikkelen is, waarbij de nieuwe digitale technologie een flinke aanjager is.

Vooroordelen worden ook nog eens versterkt door het algoritme, een groot gevaar van A.I.

De benadering in Roermond is bovendien gebaseerd op een vooroordeel. Uit de criminaliteitscijfers blijkt dat de meeste verdachten van winkeldiefstal en zakkenrollers in Roermond de Nederlandse nationaliteit bezitten, zo schrijft masterstudent Vera Prins op de blog van het Montaigne Centrum voor Rechtstaat en Rechtspleging van de Universiteit Utrecht. De gedachte dat deze misdrijven worden gepleegd door mensen met een Roma-achtergrond is dus niet gebaseerd op concrete aanwijzingen daarvoor in Nederland, maar onder meer op rapportages van ervaringen van de politie in Roemenië en Bulgarije. De vraag is hoe betrouwbaar die rapportages zijn; het zijn landen waar sterke gevoelens van antipathie bestaan ten opzichte van Roma, schrijft Prins.

Wat het algoritme van het Sensing-project nog onrechtvaardiger maakt, is dat deze bias ook nog eens wordt verstérkt door dat algoritme – dat is een gevaar van A.I. dat vaker voorkomt, en dat vaak mensen in moeilijke posities treft. In Roermond gebeurt het doordat de ‘false positives’ ook in de politiedatabase worden gezet: ook als mensen met een Oost-Europees kenteken onschuldig blijken te zijn, worden hun profielen gebruikt om het algoritme verder te ontwikkelen. Daardoor gaat zo’n kenteken steeds zwaarder wegen in het bepalen of iemand een potentiële crimineel is.

Een bijkomend gevaar van de ontwikkeling van dit soort technologieën in Nederland is dat die mogelijk worden geëxporteerd naar landen waar de mensenrechten (meer dan hier) onder druk staan. Dat gevaar geeft Nederland een extra verantwoordelijkheid. Een stadsbestuur moet zich er rekenschap van geven dat Nederlandse steden door techbedrijven soms als proeftuin worden gebruikt. Neem het ‘living lab’ Eindhoven, waar veel sensoren, van agressie- tot geluidsmeters, zijn geplaatst om Eindhovenaren in het uitgaansleven te volgen.

De kans is groot dat Nederlandse producten bijdragen aan mensenrechtenschending in China

Volgens Tinus Kanters, projectleider van dit ‘living lab’, is niet uit te sluiten dat de betrokken bedrijven de technologie die ze nu ontwikkelen later verkopen aan ‘verkeerde partijen’. Ondertussen is al bekend dat Rwanda en Qatar belangstelling hebben voor de technologie die in Eindhoven wordt ontwikkeld.

De mogelijkheid dat een Nederlands bedrijf ook daadwerkelijk technologie verkoopt, is niet alleen hypothetisch. Zo meldt NRC Handelsblad dat het Nederlandse bedrijf Noldus producten voor digitale surveillance verkocht aan het Chinese ministerie voor Openbare Veiligheid – en ook aan universiteiten in Xinjiang, de regio waar de Oeigoeren wonen. Volgens Amnesty International, dat hier onderzoek naar deed, is de kans groot dat de producten van het Nederlandse Noldus bijdragen aan mensenrechtenschendingen in de regio.

Mismatch

Zelfs als een overheid A.I. niet bewust wil gebruiken om te discrimineren, kan de technologie aanzetten tot discriminatie en vervolging – een groot gevaar. Neem de arrestatie van Robert Julian-Borchak Williams (42), een man van kleur uit Michigan, op een donderdagmiddag in januari 2020. Hij zou vijf dure horloges hebben gestolen. De politie gebruikte een still van de bewakingscamera, waarop het gezicht van de dief te zien was, en zocht met gezichtsherkenningssoftware naar een match. Ten onrechte matchte het systeem de overvaller met Williams. De arrestatie die daarop volgde, zo zeggen burgerrechtenexperts, is de eerste in de VS waarvan vaststaat dat die gebaseerd is op zo’n onjuiste match – al komt het volgens hen waarschijnlijk veel vaker voor. Williams werd uiteindelijk vrijgesproken, maar zat wel voor niets in de cel en moest een vernederend juridisch proces doorlopen waarbij zijn onschuld voortdurend in twijfel werd getrokken.

Mensen van kleur zijn aanzienlijk vaker het slachtoffer van dit soortverkeerde matches, zo is nu herhaaldelijk aangetoond, onder meer door Joy Buolamwini, een onderzoeker aan de Amerikaanse universiteit MIT en oprichter van de Algorithmic Justice League. Uit een van de onderzoeken blijkt dat zo’n mismatch bij mensen van Afro-Amerikaanse afkomst, en ook bij mensen met een Aziatische achtergrond, zo’n tien tot honderd keer vaker voorkomt dan bij witte mensen. Over de oorzaak daarvan is nog discussie, al zijn veel experts het erover eens dat deze fouten gemaakt worden omdat de algoritmen verkeerd ‘getraind’ worden: om gezichten te leren herkennen, wordt een grote hoeveelheid plaatjes van witte mensen gebruikt, beelden van mensen van kleur worden veel minder aan het algoritme gevoerd. Het gevolg is dat algoritmen minder goed in staat zijn om mensen van kleur te identificeren en er meer mismatches ontstaan.

De onterechte arrestatie van Williams maakt duidelijk dat A.I. een eigen werkelijkheid creëert, waar je als mens soms maar weinig invloed op kunt uitoefenen. De agenten hadden in het geval van Williams geen goed politieonderzoek gedaan, maar zich vooral gebaseerd op ondeugdelijke gezichtsherkenningssoftware. Lang niet altijd berust dat vertrouwen in technologie op een gebrek aan inzet, of zelfs op kwaadwillendheid. Bekend is dat dit soort technologie een dwang kan uitoefenen op mensen, ze hebben de neiging om de uitkomsten ervan te gehoorzamen.

Daarom staat in verschillende richtlijnen voor A.I., onder meer in Ethische richtsnoeren voor betrouwbare KI van een deskundigengroep van de Europese Commissie, dat ervoor gezorgd moet worden dat mensen die met A.I. werken geen overmatig vertrouwen krijgen in de uitkomsten. Dat kan door bewustwording te vergroten, bijvoorbeeld door trainingen te geven aan deze mensen.

We moeten ons afvragen: zet algoritme aan tot mensenrechtenschending?

Ook in landen waar mensenrechten beter gerespecteerd worden, zoals Nederland, is het belangrijk om dit inzicht in de effecten van technologie bij elke nieuwe ontwikkeling mee te nemen – ook bij A.I. die met de beste bedoelingen wordt geïntroduceerd. Zet een algoritme mogelijk aan tot schending van mensenrechten? En, ook belangrijk: zijn mensen die ermee werken nog vrij om bij een mogelijke mensenrechtenschending af te wijken van de technologie en een eigen oordeel te vellen?

Dit artikel verscheen eerder in OneWorld Magazine.

D09A8505

‘Zwart? Dan rijdt de zelfrijdende auto jou eerder aan’

Discriminerende algoritmes versterken ongelijkheid, waarschuwt deze neuro-informaticus.

katoenboeren

Bijna alle grote modemerken zijn betrokken bij Oeigoerse dwangarbeid

Een op de vijf katoenen kledingstukken is te linken aan dwangarbeid.

Bewuster geworden door dit artikel?

Onze journalistiek is toegankelijk voor iedereen en dat willen we zo houden. Met een kleine bijdrage help jij ons anderen ook bewust te maken. Alvast bedankt!

Ja, ik doe graag een eenmalige donatie!
Hoeveel wil je doneren?
670

Over de auteur

Florentijn van Rootselaar is filosoof, journalist en schrijver. Hij schrijft voor Trouw over filosofie en ethiek en werkt aan een boek …
Bezoek auteurspagina

Ik wil dat OneWorld blijft bestaan

AbonneerDoneer

Lees je bewust via onze wekelijkse nieuwsbrief