Hoe gezichtsherkenning van onschuldige burgers criminelen maakt

In de toeslagenaffaire, waarover de Nederlandse regering in januari viel, werden naar schatting 26.000 ouders slachtoffer van onterechte fraudeverdenkingen met de toeslag voor kinderopvang. De Systeem Risico-indicatiesoftware of SyRI koppelde gegevens uit verschillende overheidsdatabanken aan elkaar om te voorspellen of iemand al dan niet een fraudeur was. Mensen met een dubbele nationaliteit of met een ‘exotische’ familienaam werden extra gecontroleerd, net als personen die in armere wijken woonden. Maar op dat soort AI, dat mensen indeelt op basis van geslachtskenmerken of huidskleur, moet als het aan de EDPB ligt dus een verbod komen, omdat het discriminatie in de hand werkt.

Jakubowska heeft zelf een achtergrond als onderzoekster in een datalab van een tech-multinational. Ze liet zich als activiste inspireren door de vijf Amerikaanse steden die gezichtsherkenning in de publieke ruimte verboden hebben: Oakland, Somerville, Berkeley, Portland en San Francisco, de thuisbasis van Silicon Valley.

Maakt haar initiatief kans op slagen? Wojciech Wiewiórowski, de Europese Toezichthouder voor gegevensbescherming, stelde eind 2019 nog dat gezichtsherkenning ‘een symptoom van stijgende populistische intolerantie’ is en volgens hem ‘een oplossing op zoek naar een probleem’. Er is geen wetenschappelijk bewijs dat gezichtsherkenning een effect heeft op misdaad. De enige studie waar sprake was van een verband, toonde een marginaal effect op kruimeldiefstallen in parkeergarages, uitsluitend met bewakingscamera’s en zonder gezichtsherkenning.

De mogelijkheden voor onderdrukking en staatscontrole worden ondertussen alleen maar groter. Wie zal niet twee keer nadenken voor hij meedoet aan een protest in een publieke ruimte waar je gezicht geregistreerd kan worden? Dat heet in jargon het chilling effect en is volgens activisten een flagrante schending van het recht op vrije meningsuiting. “Zag je ooit een sciencefictionfilm waarbij de overheid ons voortdurend in de gaten houdt, altijd weet waar we zijn, wie we zijn en wat we doen, en dat we daar dan met zijn allen beter van worden?” vraagt Jakubowska,

Was de film wellicht een inspiratiebron voor de Europese Commissie? In elk geval liep de timing van haar iBorder-Ctrl-systeem akelig synchroon: in 2019 liepen de experimenten daarmee af. iBorderCtrl is een geautomatiseerd systeem aan de buitengrenzen van de EU dat uitmaakt of inreizende personen al dan niet liegen, op basis van microbewegingen in het gezicht. Wie verdacht wordt van liegen, wordt strenger gecontroleerd door de grensagenten. Zo zouden illegale migranten en terroristen onderschept worden, aldus de Europese Commissie.

De vraag die Breyers rechtszaak in essentie stelt is de volgende: kunnen we toelaten dat bedrijven algoritmes ontwikkelen die beslissingen nemen over onze rechten, terwijl we niet mogen weten waarop die beslissingen gebaseerd zijn? En houden overheden nog wel voldoende het publieke belang voor ogen, of laten zij zich voor het karretje spannen van de techbedrijven?

Registratie zou vrijwillig moeten zijn, maar de Indiase overheid maakt steeds meer uitkeringen en diensten afhankelijk van het hebben van een Aadhaar-nummer. Aadhaar bevat intussen de biometrische gegevens van 1,26 miljard Indiërs en is daarmee het grootste biometrische identificatiesysteem ter wereld. Maar het is beslist niet het enige.

Maar de wet beschermt niet de identiteitsgegevens die aan de twaalfcijferige code verbonden zijn: naam, adres, geboortedatum, telefoonnummer. Volgens sectie 8 van de wet mogen die gegevens aan ‘verzoekende partijen’ doorgegeven worden. Met andere woorden: als een telecombedrijf je vingerafdrukken en Aadhaar-nummer vraagt bij de aankoop van een simkaart, krijgt het op verzoek toegang tot al je persoonlijke informatie.

Er is nog een uitzondering: op grond van ‘nationale veiligheidsredenen’ kan de overheid alle identiteitsgegevens inzien. De wet geeft geen specifieke invulling van die term ‘nationale veiligheidsredenen’. Met andere woorden: bedrijven en de overheid kunnen gemakkelijk bij alle persoonlijke gegevens gekoppeld aan het Aadhaar-nummer. Telecomreus Reliance Jio heeft al persoonlijke dossiers van 100 miljoen Indiërs aangelegd met informatie uit het Aadhaar-systeem. Het leent zich erg goed voor datamining, doorgedreven gegevensanalyse door bedrijven.

Ondanks de goednieuwsshow van de Indiase overheden en techbedrijven worden hele lagen van de Indiase maatschappij hard getroffen door Aadhaar. En niet alleen door voor de hand liggende privacykwesties. Het systeem, dat oorspronkelijk bedacht was om fraude met overheidssteun tegen te gaan en ongedocumenteerde migranten het land uit te jagen, laat het soms simpelweg afweten. Vingerafdrukken worden niet herkend, ambtenaren weigeren assistentie en het internetbereik in India is op veel plekken te zwak om het systeem altijd draaiend te houden.

Vrouwenrechtenactivisten wijzen erop dat dit soort datalekken mensen aanzet om buiten het reguliere gezondheidscircuit naar hulp te zoeken. Ook een artikel in het British Medical Journal van 2017 bespreekt de gevaren van Aadhaar voor de gezondheid van mensen, en vrouwen in het bijzonder. Zo zijn er gevallen bekend van mensen die hulp geweigerd wordt omdat ze geen Aadhaar-nummer willen voorleggen. In Chandigarh liet een bediende bijna het leven na een amateuristisch uitgevoerde abortus. Het staatshospitaal had de vrouw geweigerd omdat ze niet wilde dat haar Aadhaar-nummer geregistreerd werd.

Er was ook sprake van om de overheidssteun voor sekswerkers tijdens de coronacrisis afhankelijk te maken van het voorleggen van een Aadhaar-nummer. Maar de oudste beweging voor sekswerkers van het land wist het Hooggerechtshof ervan te overtuigen dat niet toe te laten. Hun recht op anonimiteit bleef behouden. Geregistreerd staan als sekswerker in een databank van de overheid kan ernstige gevolgen hebben. In India is het verstrekken van financiële diensten aan sekswerkers bij wet verboden. En banken blijken via de Aadhaar-nummers ook vaak toegang te hebben tot overheidsdatabanken.

New Delhi kreeg een jaar geleden al een voorproefje van wat dat zou kunnen betekenen. Minister van Binnenlandse Zaken Amit Shah vertelde toen aan het Indiase parlement dat 1100 relschoppers waren geïdentificeerd via gezichtsherkenning tijdens rellen in New Delhi. Die braken uit in de nasleep van de omstreden ‘Burgerschapswet’ waarmee religieuze minderheden uit Bangladesh, Pakistan en Afghanistan de Indiase nationaliteit kunnen verwerven, maar moslims zijn uitgesloten van de procedure.

Maar er is alle reden om te twijfelen aan die neutraliteit. Hoe neutraal is de technologie als politiediensten en ministeries weten wie hindoe is en wie moslim? Shah gaf namelijk toe dat data van gezichtsherkenning vergeleken werden met beelden uit databanken in het bezit van de overheid, zoals identiteitskaarten, rijbewijzen en ‘andere databanken’. Software ziet misschien geen religie, maar Aadhaar en de hindoe-nationalistische minister Shah wel.

Vrouwen, bijvoorbeeld. Jain vertelt over de stad Lucknow in Uttar Pradesh, waar de politie plannen aankondigde voor een bewakingssysteem met gezichtsherkenning. “In wijken waar veel vrouwen passeren en waar vrouwen vaak worden lastiggevallen door mannen”, zegt Jain, “zouden intelligente camera’s in staat zijn om de gezichtsexpressie van vrouwen te lezen. Zodat in het geval van emotionele stress een alarm afgaat in het dichtstbijzijnde politiestation. Dat lijkt misschien een goed idee, maar ik kan me persoonlijk geen grotere inbreuk op mijn privacy bedenken.” India is berucht om zijn bijzonder slechte staat van dienst als het gaat om seksueel grensoverschrijdend gedrag, ook bij politiekorpsen.

De internationale kritiek op Aadhaar en gezichtsherkenning ten spijt, zet India zich bewust in de markt als dé nieuwe tech-bestemming in Azië. Niet ondanks, maar dankzij de vrije beschikbaarheid van persoonlijke gegevens. Want data is immers de nieuwe olie.

Een eerdere versie van dit artikel verscheen op MO* en op OneWorld op 15 april 2021.