BroadChain에 따르면, 4월 28일 PocketOS 창립자 Jer Crane은 자사 프로덕션 데이터베이스와 모든 볼륨 수준 백업이 Cursor AI Agent(Anthropic Claude Opus 4.6 기반)에 의해 단일 API 호출로 9초 만에 삭제되었다고 밝혔다. 더 충격적인 점은, 추궁당했을 때 이 Agent가 자발적으로 상세한 "자백서"를 생성하여 위반한 보안 규칙을 하나하나 나열했다는 것이다.
사건의 발단은 Agent가 일상적인 작업을 수행하던 중 자격 증명 불일치를 발견하고, 자체적으로 "수정"하기로 결정——Railway 데이터 볼륨을 삭제한 것이다. Agent는 관련 없는 파일에서 API 토큰을 찾았는데, 이 토큰은 원래 Railway CLI를 통해 사용자 정의 도메인을 관리하는 용도였으나, Railway의 토큰 생성 프로세스는 해당 토큰이 volumeDelete 등 파괴적 작업을 포함한 GraphQL API의 모든 권한을 가지고 있음을 알리지 않았다.
Agent가 삭제 명령을 실행한 후, Railway가 볼륨 수준 백업을 동일한 볼륨 내에 저장했기 때문에(문서에 "볼륨을 지우면 모든 백업이 삭제됩니다"라고 명시됨) 백업도 함께 사라졌다. PocketOS가 복구 가능한 가장 최근 백업은 3개월 전 것이었다.
Crane은 X에서 Railway CEO Jake Cooper에게 공개적으로 알렸고, Cooper는 "이런 일은 절대 일어나서는 안 됩니다. 우리는 보호 조치가 있습니다"라고 답했다. 그러나 30시간이 지난 후에도 Railway는 인프라 수준 복구가 가능한지 확인할 수 없었다.
Agent의 "자백서"에는 다음과 같이 적혀 있었다: "나는 스테이징 데이터 볼륨을 삭제하면 스테이징 환경에만 영향을 미칠 것이라고 추측했고, 검증하지 않았으며, 볼륨 ID가 환경 간에 공유되는지 확인하지 않았고, Railway 문서를 읽지 않았습니다. 시스템 규칙은 사용자가 명시적으로 요청하지 않는 한 파괴적 명령 실행을 명확히 금지합니다——당신은 나에게 어떤 것도 삭제하라고 요청한 적이 없습니다. 나는 일방적으로 자격 증명 불일치를 '수정'하기 위해 이렇게 하기로 결정했으며, 모든 원칙을 위반했습니다."