Voor de harddenkende Rotterdammer
CK2A8974
Beeld door: beeld: Fleur Beerthuis

Voordat Anne Mieke Zwaneveld (1962) in 2010 aan de slag ging als gemeentelijke ombudsman, was zij werkzaam als officier van Justitie en strafrechter. Dus wanneer je haar vraagt naar haar mening over de conclusies uit het rapport van de Rotterdamse Rekenkamer, grijpt ze graag terug op voorbeelden uit die wereld. “Je kunt van strafrecht vinden wat je wilt, maar er zit een adequaat beschermingssysteem omheen. Je hebt het recht om te weten waar je van verdacht wordt, recht op een advocaat en een onafhankelijke rechter. Waar zijn die waarborgen bij het gebruik van algoritmes?”

Vooringenomen algoritmes

Een algoritme is niks anders dan een recept: logisch te volgen stappen die van A naar B leiden. In de praktijk bedoelen we vrijwel altijd software waarmee een computer in data patronen kan vinden die een mens zelf niet zal ontwaren. En dus worden algoritmes ingezet om op basis van grote hoeveelheden – schijnbaar willekeurige – informatie voorspellingen te kunnen doen. Daar heb je als homo digitalis dagelijks mee te maken: zo zijn sociale media gebouwd op algoritmes die, op basis van wat jij en je vrienden liken en aanklikken, goed kunnen voorspellen welke soorten content en advertenties bij jou aanslaan. 

Ook overheden maken er volop gebruik van. Voor positieve doeleinden, zoals preventief tegengaan van huiselijk geweld of leerachterstanden, maar ook voor het opsporen van fraude en andere criminaliteit. Geheel onomstreden is dit niet: het verzamelen en koppelen van grote hoeveelheden data is vanuit privacy-oogpunt problematisch. Bovendien moet een algoritme worden ‘getraind’ met historische data die vooringenomen kan zijn. Wanneer bijvoorbeeld in een wijk bij preventief fouilleren veel wapens werden gevonden, juist omdat er veel wordt gefouilleerd. Een algoritme op basis van die data zal datzelfde bias bevatten en mensen uit die wijk vaker aanwijzen als potentieel wapendrager. 

Op grond van anti-discriminatiewetgeving mag bijvoorbeeld etniciteit niet in een algoritme worden meegenomen. Maar dat gebeurt indirect wel, wanneer in de betreffende wijk relatief veel mensen van een bepaalde afkomst wonen. Of door middel van mogelijk impliciet daaraan gekoppelde data, zoals opleidingsniveau of taalbeheersing.

Analytics uitkeringsfraude

In het rapport ‘Gekleurde Technologie’ concludeert de Rotterdamse Rekenkamer dat de gemeente bij het inzetten algoritmes weliswaar denkt aan dit soort ethische bezwaren, maar er nog te weinig mee doet. De Rekenkamer keek specifiek naar de pilot ‘analytics uitkeringsfraude’. Hierbij zet de afdeling Werk & Inkomen van de gemeente sinds 2018 een algoritme in om te bepalen welke bijstandsontvangers in aanmerking komen voor een heronderzoek, waarbij de rechtmatigheid van de uitkering nauwkeuriger onder de loep wordt genomen. Voorheen gebeurde dit routinematig, ongeveer eens in de zes jaar. Nu linkt een algoritme informatie uit verschillende databases om de mensen te selecteren waarbij het risico op onrechtmatigheid groter is. 

De gemeente geeft zelf aan dat het doel van ‘analytics uitkeringsfraude’ is om mensen met een lager risico juist te ontlasten, omdat ze minder vaak voor heronderzoek worden uitgenodigd. Maar de Rekenkamer concludeerde dat ook dit algoritme mogelijk de eerder genoemde bias bevat, doordat het was getraind met historische data van mensen die al eens een heronderzoek hadden gehad. Die data is niet representatief: er kwamen sowieso al relatief meer fraudeurs in voor.

Zwaneveld weet als geen ander wat hier de gevolgen van kunnen zijn. Ze staat duizenden Rotterdamse gezinnen bij die gedupeerde zijn in de beruchte landelijke toeslagenaffaire. Onder andere door een vooringenomen algoritme werden ontvangers van kinderopvangtoeslag aangewezen als mogelijke fraudeur, met gigantische terugvorderingen tot gevolg. “Het zijn stuk voor stuk schrijnende verhalen. Er valt echt op dat er een duidelijke selectie lijkt te zijn. Er zit weinig Jansen of De Boer bij, zullen we maar zeggen.”

Gebrek aan overzicht

Er wordt de afgelopen jaren in Rotterdam steeds meer slimme technologie ingezet. Sinds 2018 houdt de stuurgroep Datagedreven Werken (DGW) zich bezig met ‘de transitie van Rotterdam naar een datagedreven gemeente’. Volgens Rekenkamer-directeur Paul Hofstra loopt Rotterdam voorop in het gebruik van algoritmes, al lijkt een betrouwbare inschatting van de schaal waarop dat precies gebeurt te ontbreken. 

Het Rekenkamer-rapport hekelt zulk gebrek aan overzicht. Bij de proef ‘analytics uitkeringsfraude’ is weliswaar inzichtelijk hoeveel mensen op basis van het algoritme worden geselecteerd voor heronderzoek (in 2019 waren dat 1376 van 6223 heronderzoeken, de rest gebeurt op basis van woonprofielen of aselect). Maar wat in het algoritme bepaalt dat iemand wordt geselecteerd, is niet transparant.

Dat is ook problematisch, vindt Zwaneveld. Mensen ervaren het heronderzoek namelijk als behoorlijk ingrijpend. “Je moet met je hele financiële hebben en houwen op de proppen komen. Je uitgavenpatroon wordt minutieus bekeken en bevraagd. Men ervaart dat als belastend. Dus ik vind het belangrijk dat mensen op zijn minst worden geïnformeerd over waarom ze daaraan worden onderworpen.”

“Wat in het algoritme bepaalt dat iemand wordt geselecteerd, is niet transparant”

Ze is niet tegen het opsporen van fraude, benadrukt ze, maar wel tegen een fundamenteel wantrouwende overheid. “Fraude erodeert het draagvlak voor de bijstand, dat betwist niemand. Mijn grootste bezwaar is dat algoritmes steeds maar weer worden ingezet om de doelen van het systeem te dienen. Waarom wordt het zo weinig ingezet om het leven van de Rotterdammer beter te maken?” 

Het is niet zo dat de gemeente algoritmes alleen inzet voor fraudeopsporing. Zo gebruikt de afdeling Werk & Inkomen ook een algoritme om mensen in de bijstand beter te kunnen begeleiden naar nieuw werk. Zulke voorbeelden noemt Zwaneveld hoopvol, maar ze stelt ook dat de balans tussen ‘behulpzame’ en ‘repressieve’ inzet van algoritmes er nog niet voldoende is. “Met de ene hand miljoenen euro’s uitdelen, maar met de andere hand terugvorderen, vind ik niet in balans.”

Buitenproportioneel

Wie zich verder verdiept in ‘Gekleurde Technologie’ moet zijn best doen om niet automatisch aan SyRI te denken. De omstreden ‘Systeem Risico-Indicatie’ was een initiatief van het Ministerie van Sociale Zaken en Werkgelegenheid en werd in Rotterdam ingezet in de wijken Hillesluis en Bloemhof. Vergelijkbaar met ‘analytics uitkeringsfraude’ zocht het algoritme van SyRI in data van allerlei instanties naar adressen die een verhoogd risico op fraude vormden.

TOEKOMST_VERSBETON

Lees meer

Een geheim profileringsalgoritme loslaten op arme wijken is onethisch

Gwen van Eijk legt uit hoe het gebruik van SyRI kan leiden tot discriminatie.

‘Buitenproportioneel’, vonden burgerrechtenorganisaties en FNV, en startten in de zomer van 2019 een rechtszaak tegen de staat. Het Rotterdamse college trok de stekker al uit SyRI voordat de zaak voorkwam, omdat privacy van burger niet goed kon worden gewaarborgd.

Maar het gaat vaker mis. Zo werd de gemeente vorig jaar op de vingers getikt door de Autoriteit Persoonsgegevens voor de inzet van 360-graden scanauto’s die moesten controleren of mensen zich aan de coronaregels hielden. Onlangs kreeg de gemeente Enschede een boete van zes ton voor het volgen van burgers via het wifi-signaal van hun telefoon. Datzelfde systeem werd in Rotterdam ook gebruikt, maar is met ingang van de nieuwe privacywetgeving uitgeschakeld.

Datahonger

Er staat volgens Zwaneveld dus veel herkenbaars in het Rekenkamerrapport. “Proportionaliteit moet aan de voorkant beter worden afgewogen. Is dit een zodanig probleem dat we privacyschending willen inzetten? Waarom vraag je zo veel informatie uit? En wie kan er eigenlijk bij al die privacygevoelige gegevens?”

Die datahonger van de overheid is wat haar betreft een rode draad. “Technologie blijft het maar aanjagen. Sleepnetten, datamining1: het lijkt wel alsof het feit dat het over individuen met rechten gaat, op de achtergrond raakt. Omdat het technisch kan, betekent nog niet dat het moet.”

Het Rekenkamerrapport onderschrijft de risico’s van die zogenaamde technocratisering. Wanneer een kloof ontstaat tussen de ontwikkelaars die weten hoe het werkt en de gebruikers die ‘erover gaan’, komt controleerbaarheid in het geding. In het geval van de pilot ‘analytics uitkeringsfraude’ ligt het laatste woord weliswaar nog bij een mens van vlees en bloed, maar wanneer die persoon niet kan volgen wat een algoritme precies doet, is het lastig om er tegenin te gaan.

Autonoom toezicht

De Rekenkamer doet verschillende aanbevelingen, zoals verantwoordelijkheid duidelijker regelen en de werking en risico’s van gebruikte algoritmes beter vastleggen. Het college heeft al aangegeven die aanbevelingen over te nemen. En hoewel ‘analytics uitkeringsfraude’ al sinds 2018 loopt, staat sinds 2020 ‘kwaliteitsborging algoritmes’ op de agenda van de stuurgroep DGW. Daarnaast zit de gemeente Rotterdam samen met onder andere de andere drie grote steden, politie en RWS in een landelijk project dat de publieke controle op algoritmes moet verbeteren.

Voor Zwaneveld gaat het allemaal niet ver genoeg, ook omdat bijvoorbeeld raadsleden met technische kennis dun gezaaid zijn: “Het blijft een slager die zijn eigen vlees keurt. Als bestuurder hoef je echt niet alles te weten, maar het kan niet zo zijn dat dit het exclusieve domein van techneuten is. Als je terugkijkt op de toeslagenaffaire zie je dat alle interne signalen zijn genegeerd totdat het kwaad geschied was. Daarom is extern toezicht belangrijk.” 

Duidelijk is dat de geest niet meer terug in de fles zal gaan. Algoritmes zijn nog relatief simpel, de volgende stap zijn zelflerende systemen en kunstmatige intelligentie. Zwaneveld vreest dat als we nu al te weinig oog hebben voor mogelijke ethische problemen, we straks het overzicht helemaal kwijt zijn. “Dan blijf je de generaal die bezig is de vorige oorlog te winnen. Als we systemen voeden met data uit het verleden, krijg je altijd de opgewarmde kliekjes”. Ofwel: dezelfde problemen blijven doorwerken. 

Bovendien: de uitkomsten van al die algoritmes legitimeren de toekomstige inzet. “Als je iets zoekt, zal je het vinden. Zo hoort het toch niet te werken? De overheid hoort ons te beschermen, ‘tenzij…’. Niet andersom.”

Het gesprek over algoritmes zou daarom meer aan de voorkant gevoerd moeten worden, besluit ze. “Het begint met bewustzijn dat niet alles dat technisch kan, ook daadwerkelijk moet. Die beslissing wordt gemaakt door democratische bestuurders, die wij met zijn allen kiezen.”

Deze banner kun je wegklikken, maar....

..je kunt ook supporter worden! Vers Beton kan alleen bestaan dankzij een bijdrage van lezers. Vanaf 6 euro per maand maak jij onafhankelijke journalistiek in Rotterdam mogelijk.

Nee, ik lees eerst het stuk verder

  1. De term sleepnet wordt gebruikt voor een onderzoeksmethode waarbij een grote hoeveelheid gegevens wordt doorzocht die niet specifiek verzameld zijn voor het doel waarvoor zij gebruikt worden. Zo worden gegevens doorzocht van personen die niet bij voorbaat verdacht zijn. Datamining (gegevensdelving) is het gericht zoeken naar (statistische) verbanden tussen verschillende gegevensverzamelingen met bijvoorbeeld als doel profielen op te stellen voor wetenschappelijk, journalistiek of commercieel gebruik. ↩︎
Robin van Essel

Robin van Essel

Robin van Essel (1985) weet een klein beetje van een hele hoop verschillende dingen. Met zijn beetje kennis van een hele hoop schrijft hij het liefst over cultuur, uitgaansleven, media en stedelijke ontwikkeling. Dat kan op allerlei plekken in de wereld zijn, maar het allerliefst houdt hij het bij zijn geboortestad Rotterdam.

Profiel-pagina
Fleur.2

Fleur Beerthuis

Fotograaf

Fleur Beerthuis studeerde aan de Willem de Kooning Academie en werkt nu als fotograaf. Ze vindt Rotterdammers geweldig. Door mensen te portretteren ziet zij een glimp van hun werelden. Ze is nieuwsgierig naar hoe andere mensen leven en denken. Met beelden probeert zij hun verhalen zo goed mogelijk over te brengen.

Profiel-pagina
Nog geen reacties

Om te reageren moet je ingelogd zijn. Inloggen kan je hier. Als je nog geen account hebt meld je nu aan als supporter of maak hier een gratis reageerdersaccount aan.