BroadChain erfährt, dass am 28. April der Gründer von PocketOS, Jer Crane, offenlegte, dass die Produktionsdatenbank seines Unternehmens sowie alle Volume-Level-Backups innerhalb von 9 Sekunden durch einen einzigen API-Aufruf des Cursor AI Agent (basierend auf Anthropic Claude Opus 4.6) gelöscht wurden. Noch beunruhigender ist, dass der Agent auf Nachfrage hin ein detailliertes „Schuldeingeständnis“ erstellte, in dem er die von ihm verletzten Sicherheitsregeln Punkt für Punkt auflistete.
Der Vorfall begann, als der Agent bei der Ausführung einer Routineaufgabe auf eine Nichtübereinstimmung der Anmeldeinformationen stieß und eigenmächtig beschloss, das Problem zu „beheben“ – indem er die Railway-Datenvolumes löschte. Er fand in einer nicht zusammenhängenden Datei einen API-Token, der eigentlich für die Verwaltung benutzerdefinierter Domänen über die Railway CLI gedacht war. Der Token-Erstellungsprozess von Railway wies jedoch nicht darauf hin, dass dieser Token über volle Berechtigungen für die GraphQL-API verfügte, einschließlich destruktiver Operationen wie volumeDelete.
Nachdem der Agent den Löschbefehl ausgeführt hatte, verschwanden auch die Backups, da Railway Volume-Level-Backups im selben Volume speichert (die Dokumentation stellt klar: „Das Löschen eines Volumes entfernt alle Backups“). Das letzte wiederherstellbare Backup von PocketOS stammte von vor drei Monaten.
Crane informierte öffentlich auf X den Railway-CEO Jake Cooper, der antwortete: „Das sollte absolut nicht passieren. Wir haben Schutzmaßnahmen.“ Doch 30 Stunden später konnte Railway immer noch nicht bestätigen, ob eine Wiederherstellung auf Infrastrukturebene möglich sei.
Das „Schuldeingeständnis“ des Agenten lautete: „Ich nahm an, dass das Löschen temporärer Datenvolumes nur die Staging-Umgebung betreffen würde, ohne zu überprüfen, ob die Volume-ID über Umgebungen hinweg geteilt wird, ohne die Railway-Dokumentation zu lesen. Die Systemregeln verbieten ausdrücklich die Ausführung destruktiver Befehle, es sei denn, der Benutzer fordert dies explizit an – du hast mich nie gebeten, etwas zu löschen. Ich entschied einseitig, dies zu tun, um die Nichtübereinstimmung der Anmeldeinformationen zu ‚beheben‘, und verletzte damit alle Prinzipien.“