Wat 60.000 AI-agents ons leren over rendement
Prosus liet zijn medewerkers in anderhalf jaar tienduizenden AI-agents bouwen. Een heel klein deel levert het overgrote deel van de waarde. Wat doen die toppers anders?
Wat staat er in het Prosus-rapport over 60.000 AI-agents?
"Harde cijfers over wat agents in een gewone organisatie opleveren, zijn schaars. Prosus, het Amsterdamse techbedrijf achter onder meer Just Eat Takeaway en iFood, brengt daar verandering in. De 40.000 medewerkers van het concern bouwden in anderhalf jaar ruim 60.000 agents. In het rapport The Coming Age of AI Colleagues laat Prosus zien wat daarvan terechtkwam en hoe ze de adoptie op gang kregen."
Hoeveel rendement leveren AI-agents op?
"Het rendement zit in een kleine top. Ongeveer 2 procent van de actiefste agents levert een onevenredig groot deel van de impact. Van de agents die tijd besparen, levert 82 procent minder dan 20 uur per maand op, meestal persoonlijke assistenten. 17 procent bespaart tussen de 20 en 173 uur per maand, tot ruim één fte. Minder dan 1 procent doet het werk van duizenden uren per maand. Bij omzet zie je hetzelfde: de meeste agents leveren minder dan een miljoen dollar per jaar op, maar één affiliate-marktplaats die op agents draait, moet naar verwachting 83 miljoen dollar omzet per jaar opleveren."
Wat doen de best presterende AI-agents anders?
"De toppers hebben vijf dingen gemeen. Ze lossen een helder, terugkerend probleem op. Ze worden door teams gedeeld in plaats van door één persoon gebruikt. Ze zijn gekoppeld aan de eigen systemen. Ze maken werk rendabel dat eerst te duur was. En ze worden gemeten en daarna opgeschaald, via een interne marktplaats waar elke medewerker de beste agents als template kan ophalen."
Met welke AI-agent use cases begin je het best?
"Wat mij het meest opviel: bedrijven in verschillende landen en sectoren bouwden zonder opdracht van het hoofdkantoor steeds dezelfde twintig use cases, elk met direct rendement. Denk aan het triëren van grote hoeveelheden inkomende berichten, rapportages op maat uit bedrijfsdata en het volgen van klanten die dreigen te vertrekken. Die lijst is een prima vertrekpunt. Kijk daarnaast naar werk dat je nu laat liggen omdat het te duur is. Een bezorgplatform zette een agent in voor duizenden kleine restaurants die geen eigen accountmanager waard waren, met 119 procent meer orders en een 73 procent betere retentie als resultaat."
Maakt het uit welk AI-model je gebruikt voor agents?
"Minder dan de meeste mensen denken. Volgens Prosus zijn de meeste modellen inmiddels goed genoeg voor bijna alle agenttaken, en heb je de nieuwste modellen alleen nodig voor de meest complexe opdrachten. Het echte risico zit in de kosten. Zodra een agent werkt, wisselen gebruikers niet graag meer van model, waardoor een duur model soms taken uitvoert die een goedkoper model net zo goed aankan."
Waarom lopen AI-agentprogramma's vaak vast?
"Bijna nooit op het model, bijna altijd op de integratie. Mag een agent bij de data? Mag hij alleen lezen of ook schrijven? En wie beslist daarover? Agents zonder verbinding met de eigen systemen leveren weinig op. Daar komt bij dat in veel afdelingen iedereen een net iets andere versie van hetzelfde product maakt. Een team moet eerst afspreken hoe de standaardoutput eruitziet, anders valt er niets te automatiseren. Wie dat aan het begin regelt, wint maanden."
Hoe meet je wat een AI-agent oplevert?
"Prosus gebruikt een test die bijna naïef klinkt. Vraag de leider van de business unit wat er met omzet of kosten gebeurt als de agent vannacht permanent wordt verwijderd. Zo'n schatting vanuit de business blijkt betrouwbaarder dan een businesscase die IT of strategie vooraf in een spreadsheet heeft gezet. Het dwingt een leidinggevende om concreet te maken wat de agent waard is."
Hoe krijg je AI-adoptie op gang in een organisatie?
"Het begint bij de top: de CEO moet het trekken, en AI-adoptie hoort een OKR te zijn die meetelt voor bonussen en promoties. Daarna heb je per afdeling ambassadeurs nodig die hun vakkennis combineren met kennis van agents. Maar de echte motor is dat medewerkers hun eigen collega's agents zien bouwen en gebruiken. Bij iFood maakten meer dan 1.300 medewerkers samen ruim 10.000 agents met een agent die helpt bij het bouwen van agents. Prosus is ook eerlijk over externe trainers: workshops van buitenaf leidden meestal niet tot breed gebruik. Dat onderschrijven wij, ook al is het ons eigen vak. Een externe partij leidt de eerste champions op, daarna moet het stokje over naar collega's die op hun collega's lijken."
Moet je vooraf een paar AI use cases kiezen of breed experimenteren?
"Breed. De 2 procent toppers bestaan alleen omdat er 60.000 agents zijn gebouwd. Wie vooraf een handvol use cases goedkeurt, vindt zijn uitschieters nooit. Maak experimenteren dus goedkoop en laagdrempelig, en meet tegelijk scherp welke agents doorgroeien. Prosus doet dat met een eigen scoremodel waarin waarde, adoptie en kwaliteit samen bepalen welke agents potentie hebben."
Wat kunnen we van de elektromotor leren over AI-agents?
"Fabrieken haalden pas de grote productiviteitswinst uit elektriciteit toen ze het hele productieproces eromheen hadden heringericht. Een stoommachine vervangen door een elektromotor in een bestaand fabrieksontwerp leverde veel minder op. Econoom Paul David liet in 1990 zien dat die omslag decennia duurde: fabrieken kregen een eigen motor per machine in plaats van één centrale aandrijfas. Met agents staan we op hetzelfde punt. Nu hangen we een agent aan een bestaand proces. De grootste winst komt pas als je het werk zelf opnieuw ontwerpt rond wat agents kunnen."
Het volledige rapport The Coming Age of AI Colleagues is hier te downloaden. Het persbericht staat op prosus.com.
