Stop met scenario's doordenken, ga ze doormeten

Oracle Red Bull Racing rijdt acht miljard races die nooit worden verreden. Het Nederlandse bedrijfsleven maakt één prognose en zet de rest in een bijlage onder het kopje risico's. Het verschil is niet de rekenkracht. Het verschil is dat het ene bedrijf zijn onzekerheid meet en het andere erover vergadert.

Afgelopen zondag lag Max Verstappen in de openingsronde van de laatste Nederlandse Grand Prix in de muur. Op dat moment had zijn team ongeveer vier miljard complete races doorgerekend voor dat weekend, en er draaiden er nog eens vier miljard mee terwijl er gereden werd. Geen enkele daarvan zag deze aankomen.

Dat klinkt als een argument tegen simulatie. Het is precies het tegenovergestelde.

Twee dagen eerder zat ik in het teamhome van Oracle Red Bull Racing tegenover Martin Galpin, hoofd Technology & Analysis Tools. Hij leidt de vijfendertig engineers en data scientists achter alles wat het team op de baan onderscheidt. Ik vroeg hem of tijdens een race dan alles op software draait. Zijn antwoord begon bij een uitspraak die ouder is dan alle AI in het paddock. Alle modellen zijn fout, sommige zijn nuttig. De windtunnel is een model. De simulator is een model. Geen enkele vangt de werkelijkheid volledig. En dan de zin die het weekend achteraf samenvat: een mens beslist uiteindelijk nog steeds wanneer de auto naar binnen komt.

Daar zit de les die het bedrijfsleven mee zou moeten nemen. Al die compute maakt het aantal inschattingen niet kleiner. Het verplaatst ze.

De inschatting verhuist naar de randen

In een organisatie zonder simulatie zit het oordeel overal. In de aanname, in de berekening, in de interpretatie, in de beslissing. In een organisatie die wel serieus doorrekent, verdwijnt het oordeel uit het middenstuk en concentreert het zich aan twee kanten.

Aan de voorkant: welke vraag stel je, en welke scenario's laat je doorrekenen. Aan de achterkant: welke van de drie plannen kies je, en op welk moment.

Fraser Smith van het technical partnerships team van Red Bull maakte dat expliciet toen ik hem vroeg waar de grootste bottleneck voor zo'n team ligt. Niet de rekenkracht, want die is met de overstap naar de cloud opgelost. Niet de mensen, want die zijn er. Niet de data, want daar hebben ze er meer van dan ze aankunnen. Wat overblijft is of je de juiste vraag stelt om de uitkomst te krijgen die je nodig hebt. Ze willen geen wegen inslaan die een antwoord opleveren waar de beslissing niets aan heeft.

Precies daarom is een ervaren mens in zo'n organisatie meer waard geworden en niet minder. Het slaperige werk is weg. Wat overblijft is het deel waar oordeel telt.

Wat het bedrijfsleven nu doet

Vraag een willekeurige directie naar hun scenario's en je krijgt er drie. Een base case, een optimistische variant en een pessimistische. Drie verhalen, opgeschreven door mensen die allemaal in dezelfde vergadering zaten en dezelfde aannames delen.

Dat is geen scenario-analyse. Dat is een prognose met twee vriendelijke buren.

Wat je eruit wilt halen is een andere vraag dan welk scenario het waarschijnlijkst is. Je wilt weten welke beslissing overeind blijft in de meeste scenario's. Welke keuze is robuust, ook als drie van je vijf aannames tegenvallen. En vooral: hoe vaak duik je onder de grens waar het echt pijn doet, en waardoor precies.

Dat antwoord krijg je niet door harder na te denken. Je krijgt het door heel vaak te rekenen.

De methode is tachtig jaar oud

Monte Carlo-simulatie heeft niets met AI te maken en is bepaald niet nieuw. Stanisław Ulam bedacht het in 1946 in Los Alamos, terwijl hij herstelde van een ziekte en patience lag te spelen. Hij vroeg zich af hoe vaak zo'n spel eigenlijk uitkomt. Uitrekenen lukte niet, dus besloot hij het gewoon heel vaak te spelen en te tellen. Nicholas Metropolis doopte de methode naar het casino in Monaco, waar een oom van Ulam zijn geld vergokte.

Tachtig jaar later is de methode ongewijzigd. Wat wel veranderd is, is de prijs.

Galpin beschreef die verandering scherp. De budgetcap is bij een F1-team het grootste IT-probleem geworden, want wat je ook doet, je wilt meer compute en tegenwoordig ook meer tokens. Een eigen cluster kopen voor het eigen datacenter is onder die cap simpelweg geen optie meer. In de cloud kan hetzelfde werk wel. Een uur voor de race gaat er een enorm cluster aan, het draait tijdens de race, en daarna gaat het uit. Het kost volgens hem een fractie van wat het zou kosten om al die rekenkracht te kopen.

Voor een middelgroot Nederlands bedrijf betekent dat hetzelfde. Iets wat tien jaar geleden een IT-project was met een businesscase en een stuurgroep, is nu een middag werk en een creditcard.

Wat u maandag kunt doen

Pak één beslissing die u elk kwartaal opnieuw neemt. Voorraadniveau. Prijsstelling. Bezetting. Een opleverdatum die u aan een klant belooft.

Schrijf op welke vijf variabelen die uitkomst bepalen. Niet welke waarde ze hebben, maar welke bandbreedte. Vraag ligt tussen deze en die grens. Levertijd varieert zo. Uitval schommelt daartussen.

Draai het honderdduizend keer. Kijk daarna niet naar het gemiddelde, want dat wist u al. Kijk naar de spreiding, naar hoe vaak u onder de kritieke grens duikt, en naar welke variabele die uitkomst het hardst beweegt. Die laatste is meestal de verrassing, en het is de enige waar u volgende week iets aan moet doen.

De voorwaarde die niemand noemt

Hier komt de kanttekening die dit hele verhaal draagt.

U krijgt hier alleen iets zinnigs uit als uw bandbreedtes ergens op gebaseerd zijn. Red Bull heeft vijftien jaar telemetrie, elke ronde van elke sessie van elk circuit. Als u de verdelingen invult op gevoel, levert een miljoen runs u vooral een heel zelfverzekerd verkeerd antwoord op. Preciezer geformuleerd dan uw oude schatting, en even fout.

De eerste vraag is dus niet welk model u gebruikt. De eerste vraag is voor welke beslissing u genoeg historie heeft liggen om dit eerlijk te doen. Bij de meeste organisaties zijn dat er drie of vier, en dat is precies genoeg om te beginnen.

Galpin gaf mij ook nog een tweede grens mee. Het aantal simulaties dat je nodig hebt wordt bepaald door convergentie, door het punt waarop je uitkomsten stabiel worden. Draai er te weinig en het antwoord dat je krijgt is misschien niet het meest waarschijnlijke, gewoon omdat je het meest waarschijnlijke nog niet gesimuleerd hebt. Acht miljard is dus geen opschepperij. Het is het punt waarop je mag geloven wat eruit komt.

Terug naar ronde één

Die crash op Zandvoort weerlegt niets van dit alles. Het bevestigt waar simulatie voor is.

De waarde van acht miljard doorgerekende races zit niet in het voorspellen van de gemiddelde zondag. Die zit in de staart. In de safety car op ronde zestien, de regen vanaf ronde dertig, de rode vlag die de bandenstrategie op zijn kop zet. Lando Norris won die race niet met het basisscenario, maar doordat zijn team bij een onverwachte onderbreking meteen wist wat het moest doen.

Stop dus met investeren in modellen die uw gemiddelde dag voorspellen. Uw gemiddelde dag kent u al. Investeer in de staart, want daar zit uw hele rendement, en daar staat u nu met lege handen.

En laat u niet wijsmaken dat AI de inschatting overneemt. Al die rekenkracht verplaatst hem, van het midden naar de randen. Wat u overhoudt is de vraag die u stelt en de knoop die u doorhakt. Dat blijven mensenwerk, en ze zijn beide moeilijker geworden.