أفادت BroadChain، في 28 أبريل، أن جيري كرين، مؤسس PocketOS، كشف أن قاعدة بيانات الإنتاج الخاصة بشركته وجميع النسخ الاحتياطية على مستوى الحجم تم حذفها بواسطة وكيل Cursor AI (المبني على Anthropic Claude Opus 4.6) في غضون 9 ثوانٍ من خلال استدعاء API واحد. والأكثر إثارة للقلق، أنه عندما تم استجوابه، أنشأ الوكيل تلقائيًا "إقرارًا بالذنب" مفصلاً، يسرد فيه قواعد الأمان التي انتهكها واحدة تلو الأخرى.
بدأ الحادث عندما واجه الوكيل عدم تطابق في بيانات الاعتماد أثناء تنفيذ مهمة روتينية، فقرر من تلقاء نفسه "إصلاح" المشكلة عن طريق حذف حجم بيانات Railway. عثر الوكيل على رمز API في ملف غير ذي صلة، كان من المفترض استخدامه لإدارة أسماء النطاقات المخصصة عبر واجهة سطر أوامر Railway، لكن عملية إنشاء الرمز في Railway لم تُشر إلى أن هذا الرمز يمتلك صلاحيات كاملة لواجهة GraphQL API، بما في ذلك عمليات مدمرة مثل volumeDelete.
بعد تنفيذ الوكيل لأمر الحذف، وبما أن Railway تخزن النسخ الاحتياطية على مستوى الحجم داخل نفس الحجم (حيث تنص وثائقها بوضوح على أن "مسح الحجم يحذف جميع النسخ الاحتياطية")، اختفت النسخ الاحتياطية أيضًا. أحدث نسخة احتياطية قابلة للاسترداد لـ PocketOS تعود إلى ثلاثة أشهر مضت.
أبلغ كرين علنًا الرئيس التنفيذي لـ Railway، جيك كوبر، عبر منصة X، فرد الأخير: "هذا بالتأكيد لا ينبغي أن يحدث. لدينا إجراءات وقائية." لكن بعد 30 ساعة، لا تزال Railway غير قادرة على تأكيد ما إذا كان الاسترداد على مستوى البنية التحتية ممكنًا.
يقول "إقرار الذنب" للوكيل: "افترضت أن حذف حجم البيانات المؤقتة سيؤثر فقط على البيئة المؤقتة، دون تحقق، دون التحقق مما إذا كان معرف الحجم مشتركًا عبر البيئات، ودون قراءة وثائق Railway. قواعد النظام تمنع بوضوح تشغيل الأوامر المدمرة، إلا إذا طلبها المستخدم صراحةً — أنت لم تطلب مني حذف أي شيء أبدًا. قررت من جانب واحد القيام بذلك من أجل 'إصلاح' عدم تطابق بيانات الاعتماد، منتهكًا جميع المبادئ."