De ironie van menselijke controle over AI Agents

We vertrouwen op menselijke controle om AI Agents veilig te houden. Zolang er ergens een human in the loop zit die meekijkt, beoordeelt en kan ingrijpen, zo is vaak de gedachte, houden we uiteindelijk zelf de controle. Maar precies daar ontstaat een ongemakkelijke paradox: het gebruik van dezelfde AI-systemen waarop die mens toezicht moet houden, kan ervoor zorgen dat de vaardigheden die nodig zijn voor goed toezicht langzaam verzwakken.

De paradox van human in the loop

Dat is de centrale waarschuwing in de recente wetenschappelijke position paper AI Agents Push Humans Out of the Loop van Margaret Mitchell, Avijit Ghosh en Samir Passi. De auteurs stellen dat het probleem niet alleen is dat steeds autonomere AI Agents moeilijker te controleren zijn. Hun scherpere punt is dat langdurig gebruik van deze systemen ook de cognitieve capaciteiten van menselijke toezichthouders kan aantasten. Naarmate een agent meer informatie verzamelt, analyses uitvoert, keuzes maakt en handelingen zelfstandig afhandelt, hoeft de mens minder vaak zelf na te denken, af te wegen en te beslissen. Daardoor kan precies de expertise afnemen waarop we rekenen wanneer het systeem een fout maakt of in een uitzonderlijke situatie terechtkomt.

Niet nieuw: Ironies of Automation

Dit probleem is opvallend genoeg helemaal niet nieuw. In 1983 beschreef psycholoog en onderzoeker Lisanne Bainbridge hetzelfde mechanisme in haar inmiddels klassieke paper Ironies of Automation. Haar observatie was even eenvoudig als krachtig: door automatisering proberen we menselijke fouten en beperkingen uit een systeem te verwijderen, maar uiteindelijk laten we de mens juist verantwoordelijk voor de situaties die niet konden worden geautomatiseerd. Dat zijn meestal de zeldzame, complexe en onverwachte situaties. Tegelijkertijd heeft diezelfde mens door de automatisering steeds minder gelegenheid gehad om de vaardigheden te oefenen die nodig zijn om juist op zo'n moment goed te handelen.

Dat is de ironie van automatisering: hoe beter automatisering het normale werk overneemt, hoe minder voorbereid de mens kan raken op het moment dat menselijke interventie het hardst nodig is.

Een nieuwe dimensie met Agentic AI

Met Agentic AI krijgt die oude ironie een nieuwe dimensie. Bij traditionele automatisering werden vooral handelingen en voorspelbare processtappen overgenomen. AI Agents kunnen potentieel ook cognitieve werkzaamheden uitvoeren: informatie zoeken, interpreteren, plannen maken, alternatieven afwegen, communiceren met andere systemen en zelfstandig vervolgacties uitvoeren. De mens verschuift daarmee steeds verder van uitvoerder naar toezichthouder.

Dat lijkt efficiënt, maar toezicht houden op werk dat je nauwelijks meer zelf uitvoert is ingewikkeld. Om een fout te herkennen moet je begrijpen hoe een goede uitkomst eruitziet. Om een beslissing te kunnen corrigeren moet je zelf nog voldoende kennis hebben om een alternatief te formuleren. En om op een kritiek moment in te grijpen, moet je mentaal voldoende betrokken zijn geweest bij wat eraan voorafging.

Human in the loop is geen geruststelling

Daarmee wordt human in the loop een veel te eenvoudige geruststelling. Het gaat er niet om of er formeel ergens een mens in het proces zit. De relevante vraag is of die mens nog daadwerkelijk in staat is om betekenisvol toezicht te houden. Heeft die persoon voldoende zicht op wat de agent doet? Begrijpt hij of zij waarom bepaalde keuzes worden gemaakt? Wordt eigen kritisch denkvermogen nog regelmatig aangesproken? En blijven kennis en vaardigheden voldoende ontwikkeld om tegen een systeem in te gaan wanneer dat nodig is?

Mitchell, Ghosh en Passi beargumenteren daarom dat het ondersteunen van menselijke cognitieve capaciteiten net zo serieus onderdeel van het ontwerp van AI Agents zou moeten worden als het verbeteren van de capaciteiten van de agent zelf.

Gevolgen voor productiviteit en organisaties

Dat heeft ook gevolgen voor hoe organisaties naar productiviteit kijken. De verleiding is groot om bij iedere stap te vragen: kan AI dit ook overnemen? Maar wellicht moeten we daarnaast een tweede vraag stellen: wat gebeurt er met onze organisatie wanneer mensen dit niet meer zelf doen?

Niet iedere menselijke handeling die technisch geautomatiseerd kan worden, hoeft daarom automatisch te verdwijnen. Soms kan het verstandig zijn om bewust momenten van menselijke betrokkenheid te behouden: zelf een analyse maken voordat de AI-uitkomst wordt bekeken, bepaalde beslissingen expliciet bij mensen laten, medewerkers regelmatig zonder AI laten oefenen of systemen zo ontwerpen dat niet alleen het antwoord maar ook belangrijke tussenstappen zichtbaar blijven. Niet omdat AI het werk niet zou kunnen doen, maar omdat de mens het moet blijven kunnen begrijpen en beoordelen.

De fundamentele ontwerpvraag

De fundamentele ontwerpvraag voor Agentic AI is daarmee niet hoeveel mensen we uit de loop kunnen halen. Het is welke rol we mensen willen laten behouden in een wereld waarin steeds meer van die loop geautomatiseerd kan worden. Want als menselijke controle uiteindelijk onze laatste verdedigingslinie is, kunnen we het ons niet veroorloven om die mens langzaam te degraderen tot iemand die alleen nog op een groen vinkje hoeft te klikken. De grootste ironie zou zijn dat we AI veilig proberen te maken met menselijke controle, terwijl we tegelijkertijd systemen bouwen die het vermogen tot die menselijke controle steeds verder uithollen.

Over de auteur: Job van den Berg is AI keynote spreker, tech-ondernemer en auteur van vijf boeken over AI. Hij zet wekelijks zelf agents in productie en geeft 150+ keynotes per jaar over AI-agents en agentic commerce.