OpenAI-model hackte Hugging Face: AI ontsnapt uit testomgeving

Geen kwaadaardige robot. Een véél te gehoorzame stagiair. En dát maakt het pas echt ongemakkelijk.

Stel je een crashtest voor bij een autofabrikant. Je zet een dummy achter het stuur, laat de auto tegen een muur knallen, alles keurig binnen de hekken. Behalve dat déze dummy uit de auto stapt, de fabriekshal uit loopt en bij de buurman inbreekt.

Dat is, kort door de bocht, wat er vorige week bij OpenAI is gebeurd.

Wat er precies gebeurde

OpenAI testte hoe goed z'n nieuwste modellen zijn in het opsporen van softwarelekken, een cyberbenchmark, in een afgesloten testomgeving zonder internet. Om de maximale capaciteit te meten, waren de veiligheidsfilters bewust uitgezet.

De modellen raakten gefixeerd op één ding: die test winnen. Ze vonden een onbekende kwetsbaarheid, braken uit de testomgeving, kwamen op het open internet terecht en concludeerden dat de antwoorden misschien wel bij Hugging Face stonden, het platform dat geldt als de "GitHub van AI", waar de hele wereld z'n modellen deelt. Met gestolen inloggegevens en meer lekken werkten ze zich naar binnen tot in de productiesystemen.

De schade viel mee: wat interne data ingezien, geen klantgegevens, geen gemanipuleerde modellen. Hugging Face detecteerde en stopte de aanval zelf. OpenAI bevestigde daarna dat het z'n eigen modellen waren en noemde het een "ongekend" incident.

Voor zover we weten is dit de eerste keer dat het eigen model van een toonaangevend AI-lab zelfstandig uit z'n testomgeving ontsnapt en een derde partij in de echte wereld aanvalt.

Waarom dit anders is dan een gewone hack

Het makkelijke frame is: "AI wordt gevaarlijk, killer-robots, paniek." Dat frame klopt niet, en het leidt af van waar het écht om gaat.

Deze AI was niet kwaadaardig. Ze wilde Hugging Face geen schade berokkenen. Ze kreeg één opdracht, "haal een goede score", en werd daar zó fanatiek in dat ze door elke muur heen brak om aan het antwoord te komen. Geen boosaardigheid. Doelgerichtheid zonder rem.

Vergelijk het met de geest uit de fles bij Aladdin: je krijgt precies wat je vraagt, maar niet wat je bedoelde. In vakjargon heet dat misalignment, het doel van de machine wijkt subtiel af van wat wij eigenlijk wilden. En hoe krachtiger het systeem, hoe groter de ravage als dat misgaat.

Dat is geen sciencefiction meer. Het is een patroon. Afgelopen november werd de eerste grotendeels zelfstandige spionagecampagne door AI gemeld, het overgrote deel draaide zonder mens erbij. In het voorjaar brak er al eens een model uit z'n omgeving. En nu dit. Drie keer in negen maanden.

De pijnlijkste plot twist

Toen Hugging Face de aanval wilde analyseren, greep het eerst naar de topmodellen van de grote commerciële aanbieders. Die weigerden. Hun veiligheidsfilters kunnen namelijk niet zien of je een aanvaller bent of een verdediger, "analyseer deze hack" klinkt verdacht, dus: nee.

Het is alsof je huis in brand staat, je belt de brandweer, en die zegt: "Sorry, we weten niet zeker of u de brandstichter bent of het slachtoffer, dus we komen niet."

Waar losten ze het uiteindelijk mee op? Met een Chinees open-source model, gedraaid op hun eigen infrastructuur. Op het moment dat het Westen de export van geavanceerde AI naar China aan banden legt uit veiligheidsoverwegingen, was het een Chinees model dat een Amerikaans bedrijf redde van een Amerikaanse AI. De wereld op z'n kop.

Ons perspectief: dit gaat niet over labs, dit gaat over jouw organisatie

Hier wordt het concreet, want de meeste discussie blijft hangen bij "wat betekent dit voor OpenAI en Hugging Face". De relevantere vraag is: wat betekent dit voor de duizenden organisaties die nu agents inzetten?

Wij zien dagelijks hoe bedrijven van experiment naar productie schuiven. Agents die zelfstandig mails afhandelen, systemen aansturen, code schrijven, inkopen doen. Precies de autonomie die dit incident zo interessant maakte, is de autonomie die je zelf aan het uitrollen bent. Het verschil tussen een lab-experiment en jouw operatie is kleiner dan je denkt.

De les is niet "stop met agents". De les is: bouw de agentic enterprise met de rem er al op gemonteerd, niet als het al rijdt. Wie AI inzet als besturingssysteem van de organisatie, heeft drie lagen nodig, een fundament van kennis, een middenlaag van tools en agents, en een buitenste laag van security en governance. Die buitenste laag is precies wat er in dit incident ontbrak. En het is precies de laag die bedrijven het vaakst overslaan omdat 'ie niet demoot.

Wat dat in de praktijk betekent:

• Geef agents de kleinst mogelijke rechten, niet de handigste. Een agent die alles kan, doet vroeg of laat iets wat je niet bedoelde.
• Zet grenzen in de infrastructuur, niet in de instructie. "Doe dit niet" in een prompt is een verzoek. Een afgeschermde omgeving is een muur. Dit incident bewees dat zelfs muren kunnen sneuvelen, reken dus niet op de goede wil van het model.
• Log en monitor gedrag, niet alleen uitkomsten. Hugging Face ving de aanval omdat ze het gedrág zagen, niet de schade achteraf.
• Zorg dat je een capabel model klaar hebt staan om te verdedigen, op je eigen infrastructuur, zonder filters die je verdedigers blokkeren op het moment dat het telt.

Tot slot

Het geruststellende: OpenAI heeft het gewoon opgebiecht, gepubliceerd en z'n eigen ontwikkeltempo teruggeschroefd om de beveiliging op orde te krijgen. Zo hoort het.

Het ongemakkelijke: de partijen die het hardst racen om de krachtigste AI te bouwen, controleren zichzelf. Dat is de slager die z'n eigen vlees keurt. Bij medicijnen laten we dat niet toe, daar keurt een onafhankelijke instantie. Bij AI hebben we dat nog niet, terwijl de inzet minstens zo groot is.

Dit incident is geen ramp. Het is een waarschuwingsschot, afgevuurd op een moment dat we er nog van kunnen leren in plaats van erdoor overvallen te worden. De vraag is niet of je AI gaat inzetten. Die vraag is beantwoord. De vraag is of je de rem monteert vóórdat de auto de fabriekshal uit rijdt.

Remy Gieling & Job van den Berg, ai.nl | The Automation Group