Advertentie

Pionect top banner_V2
Voor de harddenkende Rotterdammer
TOEKOMST_VERSBETON
Beeld door: beeld: Matzwart

Het College van B&W besloot twee weken geleden te stoppen met de inzet van het geheime profileringsalgoritme SyRI. Het werd gebruikt om fraude op te sporen in twee wijken op Zuid: Hillesluis en Bloemhof. Maanden eerder had de SP-fractie het college al verzocht om SyRI stop te zetten, in afwachting van de rechtszaak die een collectief (burgerrechtenorganisaties en FNV) onder de naam ‘Bij Voorbaat Verdacht’  is gestart tegen de Staat. Het Rotterdamse stadsbestuur weigerde toen. Eerder hadden ook bewoners van Hillesluis en Bloemhof, waar 1263 adressen al als ‘risicovol’ waren aangemerkt, zich verzet tegen SyRI. Het is onduidelijk of hun protest een rol heeft gespeeld bij het huidige besluit SyRI stop te zetten. 

We weten niet hoe het algoritme tot stand is gekomen, wat het aanwijst als ‘risicogeval’ en welke gegevens worden geanalyseerd

De reden dat de gemeente nu wél stopt met SyRI is dat er geen overeenstemming bereikt werd met het ministerie van SZW (dat project SyRI aanstuurt) over de waarborging van de privacy. Het goede nieuws: het bestuur wilde de privacy van burgers beter beschermen dan het ministerie.

Burgemeester Aboutaleb vond het gebruik van zoveel persoonlijke gegevens voor fraudeopsporing disproportioneel. Helaas reageerde hij niet op de vele andere fundamentele bezwaren tegen het gebruik van een geheim opsporingsalgoritme. Project SyRI lijkt nu van de baan, maar zou evengoed weer ingezet kunnen worden als aan de privacybezwaren tegemoet wordt gekomen. In dit artikel leg ik uit waarom het werken met geheime profileringsalgoritmen ook om andere reden getuigt van onethisch bestuur.

Geheimzinnigheid

SyRI staat voor Systeem Risico Indicatie. Op basis van heel veel persoonlijke gegevens die de overheid heeft van haar burgers, wordt met behulp van een algoritme gezocht naar afwijkende patronen. Een ambtenaar beslist vervolgens of er verder onderzoek wordt gedaan naar bijstandsfraude en andere misstanden (zie hier meer uitleg). Een afwijkend patroon is bijvoorbeeld dat iemand zonder thuiswonende kinderen toch kinderbijslag ontvangt. 

Privacyschending is slechts één van de vele bezwaren die het collectief ‘Bij voorbaat verdacht’ zal opvoeren in hun rechtszaak. Transparantie is bijvoorbeeld een ander bezwaar. Het is één en al geheimzinnigheid rondom SyRI. We weten niet hoe het algoritme tot stand is gekomen, wat het algoritme aanwijst als ‘risicogeval’ en welke persoonsgegevens precies worden geanalyseerd. SWZ-staatssecretaris Van Ark wees bovendien in de Tweede Kamer een onafhankelijke audit naar SyRI af. 

Ook de documenten over de besluitvorming rondom Hillesluis en Bloemhof zijn niet vrijgegeven. Over andere SyRI-projecten is informatie beschikbaar alleen omdat er WOB-verzoeken zijn ingediend. De Rotterdamse gemeenteraad zou de informatie over de uitvoering pas verstrekken nadat het project was afgerond. De raad kreeg in juni weliswaar uitleg over SyRI van een delegatie van ambtenaren van het ministerie van SZW, maar onder strikte geheimhouding – iets dat enkele Rotterdamse fracties (terecht) weigerden. Gebrek aan informatie betekent gebrek aan controle. 

Ondertussen woedt onder AI-experts, juristen, sociaalwetenschappers, onderzoeksjournalisten en zelfs enkele bestuurders een veel bredere (internationale) discussie over opsporings- en profileringsalgoritmen en de problemen die daarbij spelen, met name rondom discriminatie en geheimhouding. Daaruit kunnen we in elk geval twee lessen leren. Ten eerste is de kans dat profileringsalgoritmen discrimineren op grond van sociale klasse en migratie-achtergrond levensgroot. Ten tweede is de geheimzinnigheid rondom SyRI geen noodzaak die voortvloeit uit technologie of opsporingsbelang, maar een politieke keuze. Een achterhaalde en onethische keuze bovendien, nu steeds meer wordt gehamerd op transparantie. Hieronder leg ik uit waarom deze lessen ook bij SyRI van belang zijn. 

Dirty data

Een belangrijke reden voor openheid schuilt in het risico dat het algoritme discrimineert, op grond van huidskleur of migratie-achtergrond. Er zijn inmiddels talloze voorbeelden zijn van racistische profileringsalgoritmen. Studies in Groot-Brittanie en de V.S. laten zien dat raciale bias is ingebakken in software voor predictive policing en in (geheime) algoritmes die gebruik worden door rechters om de kans op herhaald crimineel gedrag in te schatten. 

Die vooroordelen of bias in algoritmen is het gevolg van ‘dirty data’. Dat betekent: de data waarop algoritmen worden getraind zijn geen objectieve, neutrale feiten maar het product van menselijke beslissingen. Elke bias of fout in menselijke beslissingen – om al dan niet te gaan opsporen, vervolgen en bestraffen – wordt gekopieerd in de ontwikkeling van het profileringsalgoritme.

Amazon ontwikkelde bijvoorbeeld een ‘seksistisch algoritme’ – dat geen vrouwen selecteerde voor sollicitaties – omdat in het verleden voornamelijk mannen waren aangenomen. Zo’n bias in een algoritme blijkt moeilijk te corrigeren. In het voorbeeld van Amazon selecteerde het algoritme niet enkel direct op geslacht maar ook op meer subtiele gegevens, zoals lidmaatschap van clubs die zich richten op vrouwen. 

De data waarop algoritmen worden getraind, zijn geen objectieve feiten maar het product van menselijke beslissingen

Met deze voortschrijdende inzichten in bias en discriminatie, is de kans klein dat SyRI vrij van zulke soort ingeslopen vooroordelen is. Dat kunnen we echter niet controleren, vanwege de geheimhouding. Maar de lijst van persoonsgegevens die SyRI analyseert is al voldoende reden tot zorg. Zo zijn inburgeringsgegevens indicaties voor herkomst en nationaliteit – gegevens die niet voor niets niet door de overheid mogen worden bijgehouden of gebruikt.

Verder zijn historische gegevens over delicten en sancties bij uitstek ‘dirty data’ want ze zijn het product van beslissingen door politie, justitie, rechters en andere handhavingsinstanties (om al dan niet te gaan opsporen, vervolgen, bestraffen). Als in het verleden besloten is om bij de opsporing meer aandacht te schenken aan – ik zeg maar wat – mensen met schulden, dan kan het algoritme dit als relevant gegeven zien. Dat kan ertoe leiden dat mensen met schulden disproportioneel vaak worden aangemerkt als potentiële fraudeur.

Bovendien wordt bij elk afzonderlijk project bepaald welke gegevens voor dat project noodzakelijk zijn. Ook daarin kan bias sluipen, bijvoorbeeld als ambtenaren denken dat mensen met schulden vaker frauderen terwijl dit in werkelijkheid niet zo is. 

Feedbackloops

Zoals algoritmen bias uit het verleden kopiëren, zo wordt dit ook versterkt in de toekomst. Dat worden feedbackloops genoemd. AI-expert Cathy O’Neil noemt dit in haar boek Weapons of Math Destruction een van de grootste problemen van profileringsalgoritmen. Wiskundige Ionica Smeets legt op een simpele manier uit hoe een bijna verwaarloosbaar beetje profilering, na een aantal jaren leidt tot een flinke vertekening. 

De keuze om SyRI in te zetten in Hillesluis en Bloemhof (en eerder de Afrikaanderwijk, al werd het ook hier afgeblazen) heeft consequenties. Het profileren van arme wijken zal ertoe leiden dat er een vertekening komt in statistieken over fraude: arme mensen zullen daar vaker in voorkomen. Dat betekent niet dat arme mensen vaker frauderen maar wel dat de fraudeurs onder hen vaker zijn opgespoord. Het algoritme produceert dus zelf ook ‘dirty data’.

Het is de vraag of bestuurders en handhavers zich dat realiseren, of dat zij in de nieuw geproduceerde oververtegenwoordiging van bepaalde groepen in de criminaliteitsstatistieken, reden zien om nog meer in te zoomen op deze groepen. Met als gevolg: nog meer bias in de data, enzovoorts – zie daar de feedbackloop. Dat doet onvermijdelijk ook iets met de toch al niet gunstige beeldvorming over de groep mensen die afhankelijk is van sociale voorzieningen. 

Principle-free politics

Het Rotterdamse bestuur heeft project SyRI afgeblazen om reden van privacy, maar blijkt dus niet gehinderd door enige kennis over de voortdurende discussie rond discriminatoire effecten van profileringsalgoritmen. Bovendien is er een brede beweging naar meer transparantie rondom het gebruik van algoritmen in bestuur en beleid. Zo streeft het bestuur in New York City ernaar dat alle algoritmen transparant zijn (al schort het nog aan de uitvoering), onderzoekt de gemeente Amsterdam ethische algoritmen en kiest de gemeente Uden er bewust voor geen voorspellende algoritmen te gebruiken. Zelfs commerciële bedrijven, die geld verdienen aan gepatenteerde geheime software, komen langzaamaan tegemoet aan de eis van transparantie. 

Dat het Rotterdams college akkoord ging met de inzet van een geheim algoritme is achterhaald en daarmee ook onethisch: geheimhouding is onnodig en hindert de controle van instrumenten die verregaande consequenties kunnen hebben voor (onschuldige) burgers. 

De discussie over SyRI toont andermaal dat het Rotterdams bestuur bereid is ethische en rechtsstatelijke principes overboord te zetten onder het mom van vage noties van ‘veiligheid en leefbaarheid’. Ik noemde dat hier eerder ‘principle-free politics’. De rechtsstatelijke principes en regels voor behoorlijk bestuur oprekken onder het mom van ‘experiment’ is geen kunst: de uitdaging ligt juist in het ontwikkelen van beleid en instrumenten die binnen de rechtsstatelijke kaders blijven. Hoewel SyRI van de baan lijkt, blijft een fundamentele discussie over ethisch bestuur hard nodig. 

Voordat je verder leest...

Je kunt dit artikel gratis lezen, maar wij kunnen het niet gratis maken. Vers Beton kan alleen bestaan dankzij een bijdrage van lezers. Vanaf 6 euro per maand maak jij onafhankelijke journalistiek in Rotterdam mogelijk!

Nee, ik lees eerst het stuk verder

gwen van eijk portret

Gwen van Eijk

Gwen van Eijk is criminoloog en stadssocioloog en werkt als universitair docent en onderzoeker aan de Erasmus Universiteit Rotterdam. Ze woont op Zuid.

Profiel-pagina
MATZWART_LOGO

Matzwart

Illustrator

Matzwart studeerde in 2012 af aan de Willem de Kooning Academie en werkt nu als allround ontwerper met een voorliefde voor illustratie. Hij werkt overal waar hij aan WiFi kan komen.

Profiel-pagina
Nog geen reacties

Om te reageren moet je ingelogd zijn. Inloggen kan je hier. Als je nog geen account hebt meld je nu aan als supporter of maak hier een gratis reageerdersaccount aan.

Advertentie

Logo_giraffe_01_600x500