Vergeet de controlestaat, we leven in een controlemaatschappij

‘Vergeet de controlestaat, we leven in een controlemaatschappij’

SEBASTIAAN BROMMERSMA

6 CONNECTIES

3 BIJDRAGEN

Volgens bijzonder hoogleraar digitale surveillance Marc Schuilenburg hebben wij geen geheimen meer. Bij alles wat we doen kijkt er wel iets of iemand mee die onze gangen registreert. We weten het, maar doen er gewoon aan mee. Zo diep zit digitale surveillance in de haarvaten van onze samenleving: ‘We herkennen het vaak niet eens meer.’

Begin deze eeuw stapte Marc Schuilenburg zijn cel binnen in de koepelgevangenis in Breda. De stalen deur viel met een klap achter hem dicht. Als senior medewerker van het Openbaar Ministerie (OM) waren gevangenissen bekend terrein voor hem, maar dit bezoek was anders. Schuilenburg ging ‘proefzitten’ in de beruchte bajes.

‘De koepel’ fascineert hem. Gebouwd conform de regels van een panopticon zijn de cellen rondom een wachttoren gebouwd, van waaruit de cipiers alle gevangen kunnen zien. Dankzij de geblindeerde ramen weten de gedetineerden echter niet of de bewaarders daadwerkelijk op hun post zijn. Het gevolg is dat zij het zekere voor het onzekere nemen en zich zullen gedragen, aldus de Franse filosoof Michel Foucault.

‘De gevaren van particuliere surveillance worden schromelijk onderschat’

Schuilenburg, die rechten en filosofie studeerde en promoveerde in de sociale wetenschappen, nam de ‘disciplinerende’ architectuur vanachter de tralies in zich op en vroeg zich af welke gevolgen surveillance nog meer zou kunnen hebben op menselijk gedrag.

Na zijn aanstelling als hoogleraar digitale surveillance aan de Erasmus Universiteit besloot hij zich op de beantwoording van die vraag te storten. Daarbij gaat zijn bijzondere aandacht uit naar de impact van digitale surveillance-middelen, zoals intelligente camera’s, algoritmes en artificial intelligence (AI) op onze samenleving.

Marc Schuilenburg

Marc Schuilenburg is bijzonder hoogleraar digitale surveillance aan de Erasmus Universiteit te Rotterdam. Voor hij de academische wereld betrad werkte hij als senior beleidsmedewerker bij het Openbaar Ministerie. Hij is thans lid van de Reflectieraad van het Openbaar Ministerie en van de Ethische Klankbordgroep Nationale Politie.

Schuilenburg schreef verschillende boeken over digitale surveillance, waaronder Making Surveillance Public (2024) en The Securitization of Society (2015).

Deze week verscheen zijn boek: Making Surveillance Public. Daarin stelt hij dat door de opkomst van deze technologieën, overheden en opsporingsdiensten onze levens op ongekende schaal kunnen monitoren, terwijl er nauwelijks iets bekend is over de manieren waarop dit gebeurt en welke gevolgen dit heeft voor de rechten en vrijheden van burgers.

Schuilenburg waarschuwt voor dit gebrek aan kennis en roept op tot transparantie en publieke verantwoording. Hij beperkt zich daarbij overigens niet tot de publieke sector. Techreuzen als Tesla, Amazon en Apple weten dankzij onze auto's, deurbellen en horloges zo mogelijk namelijk nog meer over ons.

De grenzen tussen publiek en privaat vervagen bovendien, stelt Schuilenburg, doordat dergelijke bedrijven zich met hun producten steeds vaker in het (publieke) veiligheidsdomein begeven. Ook de politie maakt gretig gebruik van de data die zij verzamelen.

Er ontstaat een vernetwerking van data, zegt Schuilenburg. De samenleving verandert in een digitaal ‘superpanopticon’, waarbij we van alle kanten bekeken worden zonder dat we nog weten door wie en hoe: ‘Vergeet de surveillance-staat, we leven in een surveillance-maatschappij’.

Dat klinkt dystopisch…

‘Eerder realistisch.’

Waarom?

‘Surveillance wordt van oudsher gezien als iets van de staat. Een wereld van spionnen en politieagenten of van autoritaire regimes. Daar komt de metafoor ‘Big Brother is watching you’ vandaan. Maar die schiet inmiddels ruimschoots tekort.

Surveillance is allang niet meer aan overheden voorbehouden. Door de digitalisering van ons leven en de introductie van iPhones, Apple Watches, FitBits en slimme deurbellen verzamelen particuliere bedrijven op gigantische schaal de meest intieme informatie over ons, onze gezondheid en onze geheimen. Dat is allemaal surveillance. We herkennen het alleen niet meer als zodanig.’

U beschrijft dit in uw boek als luxury surveillance, omdat consumenten er in principe zelf voor kiezen als ze deze producten kopen. Wat is dan het bezwaar?

‘De gevaren van particuliere surveillance worden schromelijk onderschat. De data die wordt verzameld via intelligente koelkasten, slimme deurbellen en activiteitstrackers en dergelijke maakt je privéleven inzichtelijk voor derden die met die informatie doen wat ze willen. Doorverkopen aan adverteerders, gebruiken om profielen op te bouwen van jou en je omgeving: het gebeurt, zonder enige vorm van controle.

Dat gebruik van die data leidt tot stigmatisering. Dat zie je bij de route-navigatie-app Waze. In sommige landen geeft die aan of hij een bepaalde buurt veilig vindt of niet. Zo niet, dan kleurt die buurt knalrood en adviseert de app de bestuurder daar omheen te rijden. Waarom dat is weet je niet, maar dat doet iets met de perceptie van de bestuurder. Die zal de buurt nu vooral associëren met gevaar, geweld of criminaliteit, en zal die liever vermijden. Via technologie heb je zo ineens een stigma van die hele buurt in je app en misschien ook wel in je eigen systeem.

Uiteindelijk zie je bij private surveillance zo dezelfde problemen ontstaan als we kennen van surveillance door de overheid en de politie. Ook in Nederland. Op basis van ondoorzichtige datasets en algoritmes worden bepaalde groepen mensen zonder het te weten benadeeld, uitgesloten of gediscrimineerd.’

U wijst er ook op dat aanbieders van dit soort producten, zoals Google, Tesla en Amazon, met AI en algoritmes taken naar zich toetrekken die normaliter bij de politie horen. Wat bedoelt u daarmee?

‘Amazon verkoopt sinds 2018 de Ring-videodeurbel, waarmee je op je telefoon kunt zien wie er bij je op de stoep staat. Wereldwijd zijn miljoenen exemplaren verkocht. Tegelijkertijd werkt Amazon in de VS aan een eigen watchlist. Dat is een database met profielen van personen waarvan Amazon zelf denkt dat die mogelijk een bedreiging zijn. Als zo iemand vervolgens bij jou voor de deur staat en door de gezichtsherkenningssoftware in je Ring-deurbel wordt geïdentificeerd, gaat er automatisch een alarm af.

Amazon maakt dus zelfstandig een inschatting of iemand zich mogelijk schuldig zou kunnen maken aan een strafbaar feit, terwijl niet duidelijk is waar dat op is gebaseerd en hoe die technologie werkt. Dan ga je op de stoel van de politie zitten. En Amazon is niet het enige bedrijf dat dit doet. Tesla is inmiddels ook bezig met zo’n lijst.’

Die deurbellen zijn desondanks razend populair. Dus kennelijk nemen we dit voor lief om onze eigendommen te beschermen. Of zijn we hier (te) blind voor?

‘Je kunt niet meer voorbij aan de publieke implicaties van dit soort producten. De data die particuliere partijen verzamelen, vindt namelijk ook op allerlei manieren zijn weg naar opsporingsdiensten. In Nederland heeft de politie inmiddels toegang tot tienduizenden videodeurbellen. Dat is een heel nieuw surveillancenetwerk van ongekende schaal dat de politie ineens ter beschikking heeft.

‘We worden steeds minder een fysiologische spierbundel en steeds meer een databundel’

Er ontstaat een vernetwerking van particulier en publiek verzamelde data, waar niet of nauwelijks toezicht op wordt gehouden, terwijl dat wel keihard nodig is. Particulier verzamelde data valt namelijk onder heel andere juridische spelregels dan de data die de politie zelf verzamelt in het kader van een opsporingsonderzoek.

En er is nog een probleem. De camera’s in een Tesla filmen bijvoorbeeld de omgeving van de auto om die te beschermen tegen dieven en vandalen, maar als zo’n ding bij jou voor de deur geparkeerd staat, kunnen die ook bij jou naar binnen kijken. De beveiliging van de een gaat dan ten koste van de persoonlijke levenssfeer van de ander. En er zijn in de VS ook al voorbeelden waarbij de politie dit soort beelden heeft gebruikt.’

U schrijft dat onze samenleving zich heeft ontwikkeld tot een digitaal superpanopticon waarin al onze bewegingen via surveillance worden gevolgd. Hoe is dit verlopen?

‘Surveillance is de basis van het politiewerk. Zonder kijken kom je niet tot opsporing. Maar in de afgelopen veertig jaar is dit radicaal veranderd. De ontwikkeling van de camera is daarvoor illustratief.

Eerst had je de schout die op de hoek van de straat stond, maar die werd vervangen door een camera. Die was toen nog standalone, om mensen af te schrikken, maar al snel werd hij in een CCTV-netwerk gehangen. De camera werd zo een controlemiddel waarmee hele trajecten continu in beeld konden worden gebracht. Als je nu van de Coolsingel naar de Erasmus Universiteit loopt, wordt iedere stap die je zet gevolgd.

Marc Schuilenburg: Making Surveillance Public (Uitgeverij Eleven)

Daar zijn de digitalisering van de samenleving, de vernetwerking van data en de introductie van AI nog eens overheen gekomen. Hierdoor kunnen camera’s aan enorme databestanden en biometrische herkenningsmiddelen worden gekoppeld, zodat ze actief voor de opsporing kunnen worden ingezet.

Het resultaat is dat de politie nu meer data in handen heeft dan ooit en die met behulp van algoritmes en AI direct inzichtelijk kan maken. Dat biedt een potentieel dat nooit eerder is vertoond. Politiewerk verandert hier radicaal door.’

In welke zin?

‘In eerste instantie probeerde men met behulp van al die data en AI-modellen te voorspellen waar criminaliteit zou plaatsvinden, à la de film Minority Report. Daar heeft de politie jarenlang op ingezet. Maar inmiddels is doorgesijpeld dat er nauwelijks bewijs is dat dit soort predictive policing systemen werkt. Het Nederlandse Criminaliteits Anticipatie Systeem (CAS) is daar ook op afgerekend en wordt steeds minder gebruikt.

Je ziet nu een nieuwe verschuiving binnen datagedreven opsporing, waarbij algoritmes en AI juist worden ingezet om terug te kijken in gigantische hoeveelheden data. Denk aan de Encrochat-zaak, waarin miljoenen versleutelde berichten van zware criminelen in beslag zijn genomen. Die zijn met AI-tools onderzocht om patronen en namen te identificeren die vervolgens weer in nieuwe onderzoeken worden gebruikt. Dat blijkt veel succesvoller dan het voorspellen van criminaliteit.’

Uw boek toont aan dat de natuurlijke volgorde voor surveillance is omgedraaid. Vroeger was er eerst een verdenking, waarna er werd gesurveilleerd. Nu is er alom surveillance en wordt vervolgens met AI-tools gezocht naar verdachte feiten. Past dat in een democratische samenleving?

‘Dit is de praktijk geworden. Het past ook bij de manier waarop de opsporing zich ontwikkelt en bij de bredere maatschappelijke tendens dat hoe we leven, wonen en werken volledig digitaal wordt gemonitord.

Vroeger ging men uit van een mens: een dader, een verdachte, een consument. Nu gaat men uit van data. We worden steeds minder een fysiologische spierbundel en steeds meer een databundel, die kan worden opgedeeld, verspreid en in een profiel worden gestopt en doorgestuurd.

Dat zie je niet alleen in de opsporing, maar door de hele strafketen. In algoritmes die worden gebruikt als hulp bij het schrijven van vonnissen en het voorspellen van recidiverisico’s door de reclassering, maar ook in de jeugdzorg en het gevangeniswezen wordt gebruikt gemaakt van algoritmes en AI-tools die uitgaan van de mens als datapakket.’

DOSSIER

DIGITALE ZAKEN

Wat gebeurt er met de gegevens die overheden, bedrijven en instellingen over ons opslaan? Wat als ze gehackt of gegijzeld worden? Hoe veilig zijn onze systemen, en onze data?

Wat zijn daar de risico’s van?

‘Dat de mens achter de data verloren gaat. Terwijl het behouden van die menselijkheid van ongekend belang is, juist voor overheden en grote bedrijven. Veel unieke eigenschappen die ons mens maken, zoals je ervaringen, emoties en intuïtie, kunnen bijna niet in data worden omgezet. Dat zal altijd een blind spot van AI blijven, terwijl die eigenschappen heel veel kunnen zeggen over wat het betekent om mens te zijn.

‘Als een overheid niet kan uitleggen hoe zij tot beslissingen komt, heb je een groot probleem’

Daar zijn we ons vaak nog onvoldoende bewust van. Maar het risico van het behandelen van mensen als data, is dat uitvoerders minder oog hebben voor de gevolgen van hun beslissingen, en dat allerlei publieke waarden, zoals het recht op privacy en gelijke behandeling, overboord gaan. Dat zag je in het toeslagenschandaal.’

U beschrijft een drang bij overheid en politie om fors in te zetten op het gebruik van AI en algoritmes criminaliteit te bestrijden. Waar komt dat vandaan?

‘Het uiteindelijke doel is om de veiligheid in Nederland op een efficiënte manier te verhogen. Dat is ook belangrijk en soms werkt het. Maar er heerst op dit moment een technologisch, economisch determinisme, waarbij het uitgangspunt is dat AI en algoritmes in de opsporing altijd tot dat gewenste resultaat leiden. Dat klopt niet.

Het gevaar is dat er een AI-mateloosheid is ontstaan, waarbij steeds meer surveillancemiddelen worden gebruikt, zonder dat goed wordt gekeken hoe effectief die zijn en wat het effect is op de rechten van burgers, of de rechtsstaat in het algemeen.

Daarbij gaat het gebruik van AI en zelflerende algoritmes vaak ten koste van de transparantie en de mate waarin politie en overheden in staat zijn verantwoording af te leggen over hun handelen. Instanties begrijpen de tools die ze gebruiken vaak zelf ook niet helemaal. Maar als een overheid niet kan uitleggen hoe zij tot beslissingen of een verdenking komt, heb je als samenleving een groot probleem.’

De subtitel van uw boek is ‘Why You Should Be More Woke About AI and Algorithms’. Wat wilt u daarmee zeggen?

‘Het slaat terug op het “publiek” maken van surveillance. Dat houdt niet alleen in dat we ons bewuster moeten zijn van alle surveillance om ons heen en dat er meer moet gebeuren om transparantie rond, uitlegbaarheid van en toezicht op AI en algoritmes te versterken, maar ook dat er een groter publiek moet worden betrokken bij de ontwikkeling daarvan.

‘Dat algoracisme moet eruit’

De woke-beweging heeft onze ogen geopend voor de inherente sociale ongelijkheid die er nu eenmaal is. Ook in technologie. Wat mij bijvoorbeeld opvalt is dat AI en algoritmes vooral worden ingezet voor relatief kleine vormen van criminaliteit die vooral worden gepleegd in de onderklassen van de samenleving. Je ziet het nooit op de Amsterdamse Zuidas. En er zijn meer dan genoeg voorbeelden van inherent discriminatoire algoritmes binnen de overheid, ook bij de politie.

Dat algoracisme moet eruit. Een manier om dat te doen, is om een veel breder, gevarieerder publiek bij de ontwikkeling van surveillance-technologie te betrekken. Niet alleen techneuten, maar ook juristen, ethici en mensen uit de doelgroepen die er mee zullen worden geconfronteerd. En dat moet je vanaf het eerste begin doen, want als de technologie eenmaal af is, is het tij vaak niet meer te keren.’

Recent werd bekend dat de politie meer gezichtsherkenningssoftware gaat inzetten, ondanks dat een wettelijke basis ontbreekt. Zo werkt het toch niet in een rechtsstaat?

‘Nee, maar dat is dus die AI-mateloosheid. Er wordt een tool ontworpen en ingezet waarvan men vindt dat die nodig is en pas daarna wordt gezocht naar een wettelijke grondslag.

Ik noem dat innovatierealisme: een nieuwe toepassing wordt als een onontkoombare keuze gepresenteerd, enkel en alleen omdat de techniek het mogelijk maakt. Dus omdat het kán, wordt het gezien als dé oplossing om bepaalde criminaliteit te bestrijden en worden andere oplossingen niet meer serieus bekeken. Die benadering zie je binnen de hele overheid.’

Het klinkt als tunnelvisie.

‘Dat is het het ook. Een pijnlijk voorbeeld is outletcentrum Roermond. Daar zou veel worden gestolen door Oost-Europeanen. De politie en het OM hebben toen een AI-systeem opgetuigd dat alle auto’s op de wegen rond het centrum scande, zodat Oost-Europese auto’s preventief konden worden gestopt en de bestuurder en inzittenden gecontroleerd.

In plaats van publiek geld uit te geven aan een duur systeem dat inbreuk maakt op de rechten van praktisch iedereen die daar rondrijdt, had de politie ook tegen dat winkelcentrum kunnen zeggen: joh, zet drie extra beveiligers neer’. Maar die discussie is nooit goed gevoerd.’

Als u de balans opmaakt tussen wat het gebruik van AI-gedreven en algoritmische surveillance-middelen door de politie ons opleveren en ons kosten, in de zin van rechten en waarden. Is die uitruil het dan waard?

‘Nee. Dat komt ook omdat Nederland echt al behoorlijk veilig is. Dus de winst die we behalen, als die er al is, weegt voor mij niet op tegen de nadelen.

Maar belangrijker is dat er onvoldoende democratische controle op deze middelen is, terwijl fundamentele rechten en rechtsstatelijke waarden als het recht op privacy en gelijke behandeling niet goed zijn geborgd.’

Schieten we met een AI-kanon op een mug?

‘Dat denk ik wel. We zijn allemaal gevoelig voor de veiligheidsparadox: hoe minder criminaliteit er is, hoe hysterischer we het resterende stukje onveiligheid willen aanpakken. Dat is precies wat hier speelt en wat je ook terugziet in die behoefte aan luxury surveillance.

We hebben er als maatschappij meer aan als we inzetten op de zorgende kant van AI. Het wordt nu bijna alleen gebruikt als controlemiddel in de opsporing en het jagen op fraude, maar je kunt AI ook gebruiken om de rechtsgelijkheid, rechtseenheid en rechtszekerheid in het strafrecht te vergroten. Van die positieve kant van AI maken we veel te weinig gebruik.’

Il Nuovo Mondo - The New World Order

Pagina's

zondag 4 februari 2024

Vergeet de controlestaat, we leven in een controlemaatschappij

Geen opmerkingen:

Een reactie posten