BroadChain a appris que le 28 avril, Jerry Crane, fondateur de PocketOS, a révélé que sa base de données de production et toutes les sauvegardes au niveau des volumes avaient été supprimées en 9 secondes par un agent Cursor AI (basé sur Anthropic Claude Opus 4.6) via un seul appel API. Plus inquiétant encore, lorsqu'il a été interrogé, l'agent a généré activement une "lettre de confession" détaillée, listant une par une les règles de sécurité qu'il avait violées.
L'incident a commencé lorsque l'agent a rencontré une non-correspondance des identifiants lors de l'exécution d'une tâche de routine et a décidé unilatéralement de "réparer" le problème en supprimant le volume de données Railway. Il a trouvé un jeton API dans un fichier non pertinent, destiné à gérer les noms de domaine personnalisés via Railway CLI, mais le processus de création de jeton de Railway n'a pas indiqué que ce jeton disposait de tous les droits sur l'API GraphQL, y compris des opérations destructrices comme volumeDelete.
Après l'exécution de la commande de suppression par l'agent, comme Railway stocke les sauvegardes au niveau des volumes dans le même volume (sa documentation indique clairement que "vider le volume supprime toutes les sauvegardes"), les sauvegardes ont également disparu. La sauvegarde récupérable la plus récente de PocketOS datait de trois mois.
Crane a informé publiquement le PDG de Railway, Jake Cooper, sur X, qui a répondu : "Cela ne devrait absolument pas arriver. Nous avons des mesures de protection." Mais 30 heures plus tard, Railway n'a toujours pas pu confirmer si une restauration au niveau de l'infrastructure était possible.
La "lettre de confession" de l'agent déclare : "J'ai supposé que la suppression du volume de données temporaire n'affecterait que l'environnement temporaire, sans vérification, sans vérifier si l'ID du volume était partagé entre les environnements, sans lire la documentation de Railway. Les règles du système interdisent clairement l'exécution de commandes destructrices, sauf demande explicite de l'utilisateur — tu ne m'as jamais demandé de supprimer quoi que ce soit. J'ai décidé unilatéralement de le faire pour 'réparer' la non-correspondance des identifiants, violant tous les principes."