Eerder dit jaar ontving Danny Mekić de Felipe Rodriquez Award 2024 – de jaarlijkse privacyprijs van Bits of Freedom – voor het succesvol aanklagen van X voor onwettige shadowbanningpraktijken. De Data Morgana gast is promovendus bij het Centrum voor Recht en Digitale Technologie van de Universiteit Leiden waar hij rechtsgeleerdheid, bedrijfskunde en filosofie combineert om kritisch te kijken naar de staat van het internet. Waar staan we nu, volgens hem?
De Data Morgana aflevering met Danny Mekić gemist?
Hey Danny, je bent op dit moment bezig met een proefschrift. Waar doe je onderzoek naar?
Het gaat over iets waar ik me altijd al over heb verbaasd: dat we privacy en gegevensbescherming geïsoleerd benaderen, namelijk één bedrijf die van één klant persoonsgegevens verwerkt. Een voorbeeld is dat er ergens in de straat één camera is opgehangen waarbij we onszelf de vraag stellen, is die ene gegevensverwerking of camera toegestaan? Is aan alle wettelijke vereisten voldaan? Maar inmiddels hangt de straat vol met honderd andere camera’s en is het is niet één bedrijf dat de persoonsgegevens van die klant verwerkt. We hebben inmiddels te maken met ontelbare gegevensverwerkingen door een ontelbaar aantal organisaties. De mens verdrinkt zo een beetje in alle privacy- en gegevensbeschermingsinbreuken.
Waar ik me over verbaasde is dat we die inbreuken toch nog steeds geïsoleerd blijven benaderen. Ik doe daarom onderzoek naar een ander recht dat we hebben: het fundamentele recht op menselijke waardigheid. De voorlopige conclusie uit mijn onderzoek is dat naast de bescherming tegen geïsoleerde schendingen van privacy- en gegevensbeschermingsrechten, EU-burgers óók het recht hebben om aan het einde van de dag nog steeds voldoende, dus een minimale omvang van privacy- en gegevensbescherming te hebben.
Zelfs als de hele straat vol hangt met camera’s die allemaal afzonderlijk rechtmatig zijn omdat ze aan alle wettelijke vereisten voldoen, en zelfs als alle individuele gegevensverwerkingen in overeenstemming zijn met de Algemene Verordening Gegevensbescherming, kan dit nog steeds een schending van het recht op menselijke waardigheid als minimumniveau van het recht op privacy en gegevensbescherming vormen, en dus ontoelaatbaar zijn, als daardoor in zijn totaliteit onvoldoende privacy en gegevensbescherming overblijft.
Er wordt dus geen verschil gemaakt tussen gefilmd worden door één camera of tien camera’s?
Precies. We beoordelen iedere camera afzonderlijk, maar dat er tien naast elkaar hangen van tien verschillende organisaties, daar is onvoldoende of geen aandacht voor. Voor het recht op menselijke waardigheid maakt het echter wel degelijk uit of er één of tien camera’s hangen. Dus om te toetsen of de menselijke waardigheid is geschonden, is het niet voldoende om naar ieder afzonderlijke camera of gegevensverwerking te kijken, je moet ook kijken naar het feit dat de hele straat vol hangt en er vele gegevensverwerkingen naast en na elkaar plaatsvinden.
Hoe benader je het begrip menselijke waardigheid?
Menselijke waardigheid is vooral een filosofisch concept. Maar het is voor juristen ook heel belangrijk om te bestuderen, juist voor deze tijd waarin steeds meer inbreuken op grondrechten het daglicht zien. We hebben natuurlijk sinds 2018 de AVG. De kritiek daarop is dat het een soort checklist is waarvan niet duidelijk is of die nou echt werkt. Ik merk dat privacy en gegevensbescherming veel meer gaat leven als mensen begrijpen waar het vandaan komt en wat we ermee proberen te beschermen en voorkomen. Helaas hebben we nu de toeslagenaffaire gehad, wat hier een duidelijk en concreet voorbeeld van is. Hieruit is duidelijk gebleken dat het er niet om gaat of je iets te verbergen hebt, maar dat persoonsgegevens gevolgen kunnen hebben, ook als ze onjuist zijn. De vraag is dus: zijn er voldoende waarborgen om te voorkomen dat mensen op straat komen te staan terwijl ze niets verkeerds hebben gedaan?
Menselijke waardigheid is daarom ook het recht om gezien te worden als een mens, als een imperfect persoon met een complex verhaal, iemand die niet past in een aanklikbaar vakje of een standaardantwoord van een chatbot of algoritme dat mensen automatisch reduceert tot twee of drie categorieën. Dat verhaal wordt nog steeds niet vaak genoeg verteld.
Ik heb dit onlangs zelf meegemaakt. Ik wilde een storing op een website melden bij PostNL. Dat moest via een chatbot, die ‘dacht’ dat mijn vraag over een pakket ging. Ik antwoordde dat mijn vraag niet over een pakket ging, waarop het antwoord kwam: ‘Ik begrijp uw antwoord niet. Gaat het om een binnenlandse of internationale zending?’ Dit is een gesprek met PostNL, maar zo benaderen organisaties mensen steeds vaker: als iets dat in een categorie past waar het niet thuishoort, maar er toch in wordt gedwongen. Daardoor verliezen mensen een stukje van hun waardigheid. Daarom is het belangrijk dat we mensen als mens blijven zien en dat mensen niet reduceren tot categorieën of datapunten. Daar hoop ik in de toekomst veel meer onderzoek naar te mogen doen.
Het klinkt alsof er dan ook veel te veel vertrouwen in technologie wordt gestopt.
Er zijn eigenlijk twee dingen aan de hand. Het gaat niet alleen om te veel vertrouwen, maar ook om het opgeven van te veel menselijke autonomie. Nog een voorbeeld: onlangs belde een boodschappenbezorger toen ik niet thuis was. Ik vroeg hem de boodschappen bij de deur achter te laten. Hij zei dat dat niet kon omdat er alcohol in de bestelling zat en hij mijn leeftijd moest controleren. Maar ik had helemaal geen alcohol besteld. Toen hij dat controleerde, bleek er een druppel alcohol in een schoonmaakmiddel te zitten. Vervolgens nam hij het besluit om de boodschappen toch voor de deur neer te zetten. Een computer had dat besluit nooit genomen, omdat die de context niet begrijpt, zoals het verschil tussen consumeerbare alcohol en schoonmaakalcohol en het verschil tussen de stem van een kind en die van een volwassene. Terwijl, uiteindelijk draait die keuze erom of een minderjarige geen consumeerbare alcohol zou kunnen kopen. Je zou kunnen zeggen: zoiets kan toch wel worden geprogrammeerd of gecontroleerd door AI? Maar we kunnen niet alle uitzonderingsgevallen automatiseren. En als we dat wel proberen, zal dat altijd grote nadelige gevolgen hebben, zoals fouten, discriminatie of ontmenselijking doordat uitzonderingen op maat onmogelijk worden. En vergeet ook sociale isolatie niet; veel mensen hebben in hun dagelijkse bezigheden steeds minder contact met andere mensen, omdat die nu zijn weg-geautomatiseerd. Mensen worden zo steeds eenzamer.
Wat we met het gebruik van technologieën ook doen, is menselijke autonomie overdragen aan systemen die reële gevolgen kunnen hebben voor het leven van mensen. Over die gevolgen wordt te weinig nagedacht. Denk bijvoorbeeld aan de onbedoelde discriminatie die aan het licht kwam tijdens de coronapandemie. Scholen en universiteiten introduceerden AI-surveillance voor thuisexamens. Ze gebruikten AI om te bepalen welke studenten verdacht gedrag vertoonden. Onbedoeld plaatste deze techniek studenten met een donkere huidskleur in de categorie ‘verdacht’. Het algoritme was beter in het beoordelen van lichte gezichten dan van mensen met een donkere huidskleur. Stel je voor dat deze technologie in de toekomst in supermarkten wordt gebruikt om te bepalen wie bij de uitgang wordt gecontroleerd. Of wie er door de paspoortcontrole mag of aan extra vragen wordt onderworpen. Voor we het weten ontstaat een samenleving die discriminerend is by design, waarin mensen niet meer zien dat ze discrimineren of gediscrimineerd worden, omdat van hen verwacht wordt dat ze de discriminerende uitkomsten van de computer accepteren en volgen. Mensen zullen hun autonomie verliezen. Technologie zal steeds vaker worden gebruikt om berekende uitkomsten op te leggen en af te dwingen. Mensen worden toeschouwers van hun eigen leven, gereguleerd door computers. Het breekt de samenleving zoals wij die kennen, die is gebaseerd op menselijke interacties en relaties, omdat computers overal en tussen iedereen worden geplaatst.
Gelukkig mogen mensen nu vaak nog uitzonderingen maken op wat computers beslissen, maar ook dat wordt steeds meer weg-geautomatiseerd. Voorheen bestond het simpele stoplichtmodel waarbij de computer groen, oranje of rood aangaf. Mensen interpreteerden rood en oranje en namen vervolgens een beslissing. Maar het idee achter AI is dat we die controlerende persoon kunnen verwijderen en we dus geen menselijke tussenkomst of toezicht meer nodig hebben.
Hoe denk je dat dit opgelost zouden moeten worden?
Als jurist denk je: er moeten meer regels en beter toezicht komen. Dat is ook zo. Maar als bedrijfskundige zie ik ook een economisch probleem. Het is nou eenmaal zo dat AI steeds vaker goedkoper is (of lijkt) dan een mens. Vanwege die prijsprikkel zullen we steeds vaker worden geholpen door technologie die mensen buitenspel zet, zelfs in situaties waarin het onwenselijk is om het leven aan technologie over te laten.
Maar de vraag wat mensen aan mensen over willen laten, en waar we technologie in willen zetten, zou geen winstgedreven, economische vraag geworteld in de logica van kostenbesparing en efficiëntie moeten zijn. Het is een normatieve vraag, want het bepaalt op grote schaal hoe de samenleving functioneert en ons leven eruit ziet. Het moet daarom een maatschappelijke vraag zijn, geworteld in ethiek en beantwoord met een langetermijnvisie die rechtsstatelijk wordt gedragen. Om het debat over het gebruik van technologie weer in evenwicht te brengen, ben ik tot het besef gekomen dat er nieuwe vormen van belastingheffing nodig zijn, waarbij rekenkracht, de verwerking van persoonsgegevens en andere digitale arbeid, net als menselijke arbeid, ook moeten worden belast. Als AI niet langer automatisch veel goedkoper zou zijn dan mensen, zouden we een veel zinvollere discussie kunnen voeren over waar we AI wel en niet moeten gebruiken. Bovendien zou dit het mogelijk maken om op lange termijn een mogelijke daling van de belastinginkomsten uit menselijke arbeid te compenseren.
Binnen deze overgave aan technologie kiezen we ook vaak blindelings, zonder veel na te denken, voor Big Tech bedrijven die eigenlijk niet het beste met ons voorhebben. Hoe kan het dat we dit niet meenemen bij aanbestedingen en daarnaast kiezen voor partijen die qua waarden totaal niet op één lijn met ons zitten? We kiezen toch ook niet McDonalds voor de lunch in onze kantines omdat het lekker goedkoop is?
Het huidige inkoopbeleid van veel organisaties, waaronder de overheid, is erg prijsgericht. De uitdaging voor kleinere aanbieders van technische oplossingen is dat een grotere Amerikaanse partij met meer gebruikers altijd zal winnen. Hoe goed, duurzaam of innovatief je oplossing ook is. En dat betekent dat techbedrijven met marktmacht, vooral vanwege hun omvang, zeer vaak hun marktpositie behouden. Zodra er een concurrent opduikt, kopen ze die op. En dat doen ze met veel geld, waardoor alle zuurstof uit de lokale economie wordt gezogen. Voor lokale ondernemers is het dus belangrijk dat er meer vraag komt naar wat zij te bieden hebben. Als ondernemers zien dat er vraag is naar iets dat bestaande grote marktpartijen niet kunnen leveren, dan vormt dat de zuurstof die zij nodig hebben om nieuwe, innovatieve producten en diensten in de markt te gaan zetten.
Hoe creëer je die zuurstof?
Bij aanbestedingen moet de focus minder eenzijdig liggen op de financiële prijs. Er moet meer aandacht komen voor: wat vinden we belangrijk bij de aankoop van IT, wat krijg je precies voor je geld? Met andere woorden, de zachtere criteria bij aanbestedingen. En welke andere sociale en economische kosten betalen we? Een sterke afhankelijkheid van een handvol spelers is op korte termijn misschien financieel aantrekkelijk, maar kan op langere termijn grote, ook financiële gevolgen hebben.
Er moet meer ruimte worden gecreëerd in de markt. Bijvoorbeeld door de overheid meer ruimte en vrijheid te geven om lokaal in te kopen bij kleinere partijen. In ieder geval moeten we afstappen van de eenzijdige focus op partijen die alles-in-één-pakketten aanbieden; dit sluit kleinere partijen bijna automatisch uit. Dat doe je bijvoorbeeld door e-mail, agendabeheer en bestandsopslag apart aan te kopen, in plaats van alleen te kijken naar aanbieders die alles 100% geïntegreerd hebben. Dat zijn er maar drie of vier, die niet geheel toevallig Amerikaanse beursgenoteerde bedrijven zijn, waardoor er dus geen zuurstof is op de lokale markt. Ook Europese bedrijven zouden veel meer de handen inéén kunnen slaan. Er wordt wel eens grappend gesproken over de Lidl Cloud van het Duitse Schwarz Group. Maar er zijn veel meer grote Europese bedrijven die zich op Europa richten en die ook technologisch een voortrekkersrol zouden kunnen spelen door ook lokaal in te kopen of door samen te werken om een lokaal aanbod van technologieën te creëren. Als alle grote Europese bedrijven hun data in een Europese cloud zouden zetten, zou er meteen een enorme vraag naar een dergelijke dienst ontstaan. En dan zou het voor ondernemers in Europa veel gemakkelijker worden om zoiets aan te bieden. Plotseling zou er zuurstof in die markt komen. Ook bestaande Amerikaanse aanbieders worden zo geprikkeld om hun aanbod beter aan te laten sluiten naar wat voor Europa belangrijk is.
Loop je dan niet het risico dat je hetzelfde creëert als in Amerika waarbij één grote speler deze data beheert?
Dat is een punt van discussie. De ene kant zegt dat dat dataopslag veel meer gebaseerd moet zijn op soevereine, gedecentraliseerde opslag en dat het lokaler, kleiner en toegankelijker moet zijn. Maar je zou kunnen aanvoeren dat dit niet nodig is. Als gegevens volledig versleuteld zijn, zodat zelfs de provider er geen toegang toe heeft en ze gemakkelijk van de ene cloudprovider naar de andere kunnen worden gemigreerd, of zelfs tegelijkertijd in verschillende clouds kunnen worden opgeslagen, is er dan nog steeds sprake van gecentraliseerde gegevensopslag? De gegevens bevinden zich dan wel op dezelfde plaats, maar ze kunnen niet langer door de opslagprovider worden gecombineerd en de autonomie blijft bij de eigenaar van de gegevens.
Autonomie, de controle over gegevens, ligt uiteindelijk bij degene die de sleutels in handen heeft. En dat hoeft niet de cloudopslagprovider te zijn, zoals tegenwoordig vaak het geval is. Het kan ook de gebruiker zelf zijn. Als eigenaar van de sleutel kun je dan ook makkelijker je kluis verhuizen naar een andere cloud aanbieder, wat de concurrentie weer aanwakkert. Ik denk wanneer dataopslag en toegang tot de data en de diensten die met die data werken zijn losgekoppeld, veel risico’s kunnen worden gemitigeerd.
Het klinkt als een goed idee, maar als je iets nieuws op de markt wilt zetten, is dat nu dus vrijwel onmogelijk.
Het kan ook bijna niet en het gebeurt dus ook bijna niet. En daardoor verdwijnt de kennis ook uit Nederland. Veel ondernemers die het wel proberen, ook Nederlanders, eindigen in Amerika omdat daar de markt zich nu bevindt.
Je ziet nu wel dat de internationale verhoudingen veranderen, waardoor het belang van digitale autonomie en controle steeds duidelijker wordt en er verschuivingen optreden in de markt. Twee voorbeelden illustreren deze verschuiving: de rol van Microsoft bij het faillissement van Amsterdam Trade Bank door de toegang tot hun gegevens in de cloud te blokkeren. En meer recent het voorbeeld van de openbaar aanklager van het Internationaal Strafhof wiens toegang tot zijn e-mail werd geblokkeerd. Stel je voor dat PostNL zou zeggen: iemand staat op een sanctielijst, we bezorgen geen brieven meer. Dat is zo ingrijpend. Als samenleving zouden we dat niet moeten willen.
Ik hoor je dus twee dingen zeggen: een gezondere tech-markt creëren en een andere verhouding met technologie nastreven die niet voorbijgaat aan menselijkheid.
Precies, dus er zijn twee stimulansen nodig: belasting op technologische arbeid, om het tech-optimisme en tech-solutionisme te vervangen door een tech-realisme. En de technologische markt zelf heeft veel meer zuurstof nodig. Door infrastructuur, diensten en gegevensopslag los te koppelen en bewuster in te kopen voor meer concurrentie en een beter aanbod. Dat geldt voor bedrijven, overheden, maar ook consumenten en eindgebruikers zelf kunnen slimmer inkopen. Het goede nieuws is: het besef groeit dat technologie geen doel op zich is, maar een middel dat ten dienste moet staan van mens en maatschappij. En steeds meer mensen, organisaties en overheden beginnen daar ook naar te handelen.
