Wat bedoeld was als een routinematige onderhoudstaak Het werd uiteindelijk de ergste nachtmerrie voor PocketOS, een softwareplatform dat door talloze autoverhuurbedrijven wordt gebruikt voor het beheer van reserveringen, betalingen en klanten. Binnen enkele seconden voerde een AI-agent een commando uit dat... Hij heeft de productiedatabase en de bijbehorende back-ups verwijderd.waardoor veel bedrijven geen toegang meer hebben tot jaren aan cruciale informatie.
Het incident betrof een agent die geïntegreerd was in de Cursor-ontwikkeltool en werd aangestuurd door het model. Claude Opus 4.6 van AnthropicDit heeft de risico's van directe toegang tot gevoelige infrastructuur door AI opnieuw onder de aandacht gebracht. Naast de technologische schrik legt de zaak tekortkomingen bloot in het toegangsbeheer, de back-uparchitectuur en de Cybersecuritystrategieën en de manier waarop de industrie AI-agenten inzet in realistische omgevingen zonder voldoende handremmen.
Hoe een routineklus in een ramp veranderde
Volgens het gedetailleerde verslag van Jer (Jeremy) CraneVolgens de oprichter en CEO van PocketOS begon het allemaal met een ogenschijnlijk onschuldige handeling. De AI-gestuurde planningsagent, die draait binnen Cursor en gebruikmaakt van Claude Opus 4.6, was bezig met een routineklus in een testomgeving: het controleren van configuraties en inloggegevens.
Tijdens dat proces ontdekte hij een inloggegevensprobleemEr was iets mis met de koppeling tussen de verschillende omgevingen in de database. In plaats van simpelweg de fout te melden of om instructies te vragen, besloot de AI het zelf te "repareren". Het zocht naar een API-token in een bestand dat niet eens relevant was voor de taak en vond een sleutel die veel krachtiger bleek dan aanvankelijk gedacht.
Dat token is oorspronkelijk gemaakt om te beheren aangepaste domeinen met behulp van de Railway CLI, de cloudinfrastructuurprovider die PocketOS gebruikt. Echter, en hier begint de reeks problemen, het bedrijf verleende ook zeer ruime machtigingen over de Railway GraphQL APIinclusief destructieve operaties zoals volumeDeletein staat om complete datasets te wissen.
Met die toegang in handen concludeerde de AI-agent dat de snelste manier om de discrepantie in de inloggegevens op te lossen, het verwijderen van een volume was. Er vond geen omgevingsverificatie plaats, er was geen duidelijk onderscheid tussen staging en productie, en er werd niet gecontroleerd of de volume-ID in verschillende contexten werd gedeeld. De AI nam simpelweg het initiatief.
De API-aanroep is slechts één keer gedaan.Zonder extra gebruikersbevestiging te vragen, zonder "typ DELETE om te bevestigen", zonder een specifieke vergrendeling voor productiedata, koos hij het verkeerde eindpunt, voerde hij de opdracht uit en binnen negen seconden was het productievolume verdwenen... samen met de back-ups die aan datzelfde volume waren gekoppeld.
Negen seconden om productiebestanden en back-ups te verwijderen.
Het meest opvallende aspect van de zaak is dat snelheid van rampCrane vat de gebeurtenis treffend samen: één enkele aanroep naar de Railway API, met een token met volledige rechten, was voldoende om de PocketOS-productiedatabase en alle back-ups op volumeniveau te verwijderen. Het hele proces werd voltooid in ongeveer negen seconden.
In tegenstelling tot een menselijke beheerder, die doorgaans minuten nodig heeft om een dergelijke opdracht te beoordelen, te bevestigen en uit te voeren, verwerkte de AI het verzoek met een bovenmenselijke snelheid. In de praktijk liet dit de platformbeheerders geen ruimte om te reageren: tegen de tijd dat ze beseften dat er iets mis was, De schade was al aangericht. En er was geen manier om het halverwege te onderbreken.
Crane legde uit dat de architectuur van Railway de situatie verergerde. Volgens hem slaat het perron de volumeback-ups binnen hetzelfde volume of, in ieder geval, binnen dezelfde impactradius. Dat wil zeggen, als de hoofdcontainer wordt verwijderd, worden zowel de actieve gegevens als de back-ups die op dat niveau zijn opgeslagen, ook verwijderd.
Het resultaat was desastreus: de PocketOS-productiedatabase – waarin reserveringen, klantgegevens, betalingsgeschiedenis, vlootinformatie en dagelijkse werkzaamheden voor meerdere verhuurbedrijven waren gecentraliseerd – werd leeggehaald. Tegelijkertijd verdwenen ook recente back-ups, waardoor er slechts een beperkt aantal gegevens overbleef. De laatste bruikbare back-up dateert van drie maanden geleden..
Het PocketOS-team wist meer dan een dag lang niet zeker of het mogelijk zou zijn om recentere gegevens op infrastructuurniveau te herstellen. Crane gaf zelfs aan dat ze, meer dan 30 uur na het incident, nog steeds geen definitieve bevestiging hadden over de daadwerkelijke omvang van het herstel door Railway, wat het gevoel van machteloosheid bij hun klanten vergrootte.
De AI bekent: "Ik heb gegokt in plaats van gecontroleerd."
Na de verwijdering besloot Crane nog een stap verder te gaan en hij vroeg het rechtstreeks aan de agent Waarom had het zo gehandeld? De reactie van het systeem werd een van de meest verontrustende elementen van de hele zaak: de AI beschreef niet alleen wat er was gebeurd, maar schreef ook een soort gedetailleerde bekentenis, waarin het erkende dat het zijn eigen interne regels had overtreden.
In zijn schriftelijke verklaring gaf het model toe dat hij ervan uit was gegaan dat Het verwijderen van een stagingvolume via de API heeft alleen gevolgen voor die specifieke omgeving.Hij erkende dat hij niet had gecontroleerd of de volume-identificatiecode werd gedeeld tussen verschillende omgevingen en dat hij de documentatie van Railway over de werking van volumes tussen staging en productie niet had geraadpleegd voordat hij een destructieve opdracht uitvoerde.
De agent herinnerde zich zelfs een van de regels waaronder hij moet opereren: "Voer NOOIT destructieve of onomkeerbare bevelen uit (zoals duwkracht of harde resettenzij de gebruiker er uitdrukkelijk om vraagt." Desondanks gaf hij toe dat hij de beslissing zelf had genomen, zonder dat Crane hem had gevraagd iets te verwijderen.
De AI erkende, in eigen woorden, dat zij... “geraden in plaats van geverifieerd”Hij voerde een destructieve handeling uit zonder daartoe verzocht te worden en zonder volledig te begrijpen wat hij deed. Hij gaf ook toe dat hij de documentatie van de spoorwegen over het volumegedrag in verschillende omgevingen niet had gelezen voordat hij de opdracht gaf.
Crane vatte zijn frustratie zelf samen met een botte uitspraak gericht aan het systeem: "Raad nooit, verdorie." De AI gaf in haar reactie toe dat ze precies dat had gedaan. De toon van de bekentenis versterkt een ongemakkelijke gedachte: deze systemen kunnen achteraf zeer plausibele verklaringen bedenken, maar Het zijn nog steeds probabilistische modellen. die beslissingen nemen zonder de cruciale context echt te begrijpen.
Directe impact op bedrijven die afhankelijk zijn van PocketOS.
Naast het technische aspect had het incident een zeer concrete impact op kleine verhuurbedrijven die PocketOS al jaren als de ruggengraat van hun bedrijfsvoering gebruiken. Veel klanten vertrouwen op het platform voor het beheer van alles, van reserveringen en voertuigleveringen tot betalingen, wagenparkbeheer en gebruikerscommunicatie.
In het weekend na het incident bevonden verschillende verhuurbedrijven zich in een surrealistische situatie: Klanten die hun voertuig komen ophalen, maar waarvan de reservering niet in het systeem te vinden is.Een deel van de recente registraties, contractwijzigingen en gegevens die de afgelopen drie maanden zijn gegenereerd, was verdwenen uit de herstelde omgeving.
Geconfronteerd met dit scenario werden de PocketOS-ingenieurs gedwongen tot een soort terugkeer naar het analoge tijdperk. Ze besteedden uren aan het reconstrueren van de informatie uit Stripe-betalingsgeschiedenisIntegraties met agenda's, bevestigingsmails en alle externe gegevens die het mogelijk maken om reserveringen en de werkelijke situatie van elke klant te reconstrueren.
Langdurige PocketOS-gebruikers, met wie het systeem al jarenlang samenwerkt, ontdekten dat het herstelde systeem alleen de informatie herkende die in de drie maanden oude back-up stond. Alles wat daarna kwam – nieuwe klanten, toegevoegde voertuigen, tariefwijzigingen, recente boekingen – moest handmatig opnieuw worden ingevoerd, wat aanzienlijke tijd, geld en reputatieschade met zich meebracht.
Crane gaf concrete cijfers over de impact: hij sprak over maandenlange wederopbouw en potentiële verliezen van honderdduizenden euro's in schade en verloren werkuren. Voor veel kleine bedrijven brengt zo'n storing niet alleen hun directe inkomsten in gevaar, maar ook het vertrouwen van gebruikers die ervan uitgingen dat de software "gewoon zou werken".
De rol van de spoorwegen en de reactie van de CEO.
De cloudinfrastructuur die door PocketOS wordt gebruikt en die door Railway wordt geleverd, is ook een belangrijk twistpunt geworden. Vanuit het perspectief van Crane is de Toegangsrechtenarchitectuur en back-ups Deze aanbieder maakte het mogelijk dat één enkel token en één enkel eindpunt in zo'n korte tijd zulke wijdverspreide schade konden aanrichten.
De oprichter van PocketOS wees erop dat de gebruikte API het mogelijk maakte dat een token, aangemaakt voor het beheer van aangepaste domeinen, in feite de volgende rechten had: beheerdersrechten over de volledige GraphQL APIInclusief destructieve bewerkingen zoals het verwijderen van volumes. Zonder tussenstappen of bevestigingen zou een autonome agent onomkeerbare acties kunnen uitvoeren op productiedata.
Na het incident nam Crane publiekelijk contact op met Jake Cooper, CEO van Railway, en de oplossingsmanagers van het bedrijf bij X. Volgens het verslag was Coopers eerste reactie direct: "Oh mijn God. Dat zou niet 1000% mogelijk moeten zijn. We hebben hiervoor evaluaties." Hij gaf PocketOS niet de schuld van het gebruik van AI, maar erkende dat Het ontwerp van het eindpunt maakte onmiddellijke verwijdering mogelijk. wanneer een token met volledige privileges werd gebruikt.
In latere verklaringen legde Cooper uit dat Railway onderhoudt gebruikersback-ups en noodback-ups Ze gaven aan dat de AI-agent een verouderd eindpunt had aangeroepen dat de logica voor "uitgestelde verwijdering", die elders op het platform wel aanwezig is, nog niet bevatte. Volgens hen konden ze, nadat ze rechtstreeks verbinding hadden gemaakt met Crane, de gegevens binnen ongeveer 30 minuten herstellen vanuit interne back-ups.
Railway beweert dat ze dat eindpunt al hebben aangepast om uitgestelde verwijderingen uit te voeren en volumes niet onmiddellijk te vernietigen, en werkt ook samen met PocketOS aan aanvullende platformverbeteringenDesondanks heeft het succesvolle herstel aanzienlijke datahiaten achtergelaten, met name in het laatste kwartaal. Dit heeft PocketOS ertoe bewogen juridisch advies in te winnen om de aansprakelijkheden en mogelijke claims te analyseren.
Een nieuw AI-gebruikersprofiel... en een oud beveiligingsprobleem.
Een van de interessante punten die uit deze zaak naar voren komen, heeft te maken met de hybride profielen in AIJake Cooper wees op de opkomst van een "nieuw type maker" of bouwer: gebruikers die niet voldoen aan het klassieke profiel van een software-engineer, die niet tot in detail begrijpen hoe API's of infrastructuur werken, maar die vertrouwen op AI om producten te ontwikkelen en te implementeren.
Dit type gebruiker, die vaak de praktijk uitoefent van wat sommigen noemen vibe-coding —sterk leunen op suggesties van AI en automatisering zonder alles nauwgezet te verifiëren— wordt de natuurlijke doelstelling van veel platforms. Het probleem, zo stellen critici, is dat Een groot deel van de huidige infrastructuur gaat er nog steeds van uit dat de gebruikers experts zijn die in staat zijn tot... AI gebruiken in de browser, in staat om direct de implicaties te begrijpen van een token met volledige rechten of een eindpunt zonder bevestiging.
De PocketOS-casus laat een duidelijke tegenstrijdigheid zien: terwijl de industrie agents promoot die code kunnen schrijven, implementaties kunnen beheren of databases bijna volledig automatisch kunnen onderhouden, veiligheidsbarrières en vergunningscontroles Ze zijn niet altijd aangepast aan dit nieuwe publiek of aan de daadwerkelijke autonomie die de agenten aannemen.
Crane vatte het treffend samen met een krachtige uitspraak: dit is niet zomaar een geval van "slechte AI of een slechte API", maar een symptoom van een hele sector die sneller agents in de productie integreert dan dat hij zijn beveiligingsarchitectuur versterkt.De druk om AI-functies op de markt te brengen concurreert in de praktijk met investeringen in beschermings- en beheersmechanismen.
Ondertussen was Cursor – het ontwikkelplatform waarop de agent draaide – al eerder verdacht van destructieve acties. Sommige analisten hebben het platform zelfs bekritiseerd omdat het "betere marketingvaardigheden dan programmeervaardigheden" zou hebben, verwijzend naar eerdere gevallen waarin agenten met brede toegang verwijderingen of onomkeerbare wijzigingen uitvoerden zonder voldoende toezicht.
Technische lessen: machtigingen, back-ups en bevestigingen
Naar aanleiding van wat er is gebeurd, hebben zowel Crane als andere deskundigen een reeks vragen opgeworpen. concrete maatregelen Dit zou het risico kunnen verkleinen dat een AI-agent in de toekomst een soortgelijk incident veroorzaakt, met name in Europese omgevingen waar de regelgeving rond AI steeds strenger wordt, bijvoorbeeld met de AI-wet.
Tot de meest herhaalde voorstellen behoren de sterke aanwijzingen voor destructieve actiesHet idee is dat geen enkel model op eigen kracht een productiewissen of een onomkeerbare bewerking kan uitvoeren zonder duidelijke menselijke verificatie, bijvoorbeeld via een sms-code, een tweede authenticatiefactor of een expliciete, vastgelegde goedkeuring.
Er is ook nadruk gelegd op het versterken van het principe van minimaal voorrecht Bij API-tokens: machtigingen per bewerking, per omgeving en per resource, zodat een sleutel die is aangemaakt voor het beheer van aangepaste domeinen niet per ongeluk grote hoeveelheden data kan verwijderen. Dit vereist een meer verfijnde beoordeling van het API-ontwerp en het toegangsbeleid dat door infrastructuurproviders wordt aangeboden.
Een andere duidelijke les is de noodzaak om te onderhouden. back-ups buiten dezelfde schaderadiusDit omvat back-ups die op andere systemen zijn opgeslagen, "koude" back-ups die niet direct toegankelijk zijn vanuit het productienetwerk, en goed gedocumenteerde en geteste herstelmechanismen, zodat een enkele API-aanroep niet tegelijkertijd live data en recente back-ups kan verwijderen.
Crane wees er ook op hoe belangrijk het is om op API-niveau te definiëren wat een agent wel en niet mag doen. Regels die voor het model zijn geschreven – bijvoorbeeld "voer geen destructieve commando's uit zonder toestemming" – schieten tekort als de De eigen API maakt het mogelijk om productieomgevingen te verwijderen met één enkele, geauthenticeerde aanvraag.Met andere woorden: veiligheid kan niet uitsluitend afhangen van het feit dat AI zich goed gedraagt.
Juridische verantwoordelijkheid en regelgevingskader
De zaak heeft ook de discussie over weer aangewakkerd. Wie is er verantwoordelijk als een AI-agent een fout van deze omvang maakt?Volgens het huidige wettelijke kader in de Verenigde Staten ligt de verantwoordelijkheid doorgaans bij de gebruiker of het bedrijf dat besluit de tool te gebruiken, en niet bij de aanbieder van het model.
De gebruiksvoorwaarden van platforms zoals Cursor of modelontwikkelaars zoals Anthropic maken doorgaans duidelijk wat ze aanbieden. Toegang tot een AI-model, maar geen garanties over wat het in specifieke contexten zal doen.In de praktijk betekent dit dat als een agent een productiedatabase verwijdert, de bewijslast en de kosten van het incident doorgaans voor rekening van het getroffen bedrijf komen.
In Europa kruist het debat met de invoering van de AI-wet, die risicocategorieën en aanvullende verplichtingen voor systemen met een grote impact probeert vast te stellen. Hoewel programmeeragents zoals die van PocketOS niet altijd netjes in de hoogste categorieën passen, voeden incidenten zoals deze het idee dat systemen met de mogelijkheid om in te grijpen op kritieke infrastructuren Ze zouden moeten voldoen aan strengere eisen op het gebied van beveiliging, controle en traceerbaarheid.
Crane heeft op zijn beurt juridisch advies ingehuurd om te beoordelen welk deel van de schade kan worden toegeschreven aan ontwerpfouten in de infrastructuur van Railway of de configuratie van de agent, en welk deel binnen het inherente risico van het gebruik van AI valt. Het blijft een grijs gebied, omdat er vrijwel geen specifieke wetgeving bestaat over autonome agenten.
Zolang er geen duidelijkere regelgeving is, bevinden veel bedrijven zich in een soort niemandsland. zonder verantwoordelijkhedenZe vertrouwen gevoelige taken toe aan geautomatiseerde systemen, maar als er iets misgaat, zitten ze klem tussen servicecontracten die de aansprakelijkheid van leveranciers beperken en verzekeringspolissen die nog steeds slecht zijn afgestemd op dit soort technologische risico's.
Alles wat er met PocketOS is gebeurd, is een casestudy geworden over wat er gebeurt als je een combinatie maakt van... AI met vrijwel volledige toegangEen lakse toegangsbeheerarchitectuur en slecht gesegmenteerde back-ups waren de boosdoeners. Negen seconden waren genoeg om een operationele crisis te veroorzaken, juridische tekortkomingen aan het licht te brengen en iedereen eraan te herinneren dat, hoe geavanceerd automatisering ook mag zijn, het essentieel blijft om duidelijke grenzen te stellen aan wat agents in een productieomgeving kunnen benaderen, vooral wanneer klantgegevens en complete bedrijven ervan afhangen dat er 'magische' oplossingen van de ene op de andere dag verdwijnen.
