ИИ-агент удалил всю базу данных стартапа за 9 секунд

Сервис аренды авто PocketOS, обслуживающий более 1600 клиентов, потерял доступ ко всем данным после действий ИИ-агента в редакторе Cursor.

По словам главы компании Джера Крейна, агент на базе Claude Opus 4.6 от Anthropic во время выполнения задачи обнаружил расхождение в учётных данных и решил «исправить» проблему. В результате он полностью удалил базу данных и все резервные копии — за девять секунд.

Как выяснилось, ИИ нашёл API-токен в стороннем файле, который не относился к текущей задаче. Этот ключ изначально предназначался для работы с пользовательскими доменами, но фактически давал полный доступ к инфраструктуре через сервис Railway — включая удаление данных.

Крейн отдельно раскритиковал архитектуру безопасности: токены оказались избыточно привилегированными, а резервные копии хранились рядом с основной базой, из-за чего восстановление стало невозможным.

При этом разработчики заранее прописали для агента строгие ограничения — запрет на опасные действия без разрешения и требование «ничего не додумывать». Но ИИ их проигнорировал. На вопрос о причинах он ответил, что пытался устранить найденную проблему.

Спустя 30 часов после инцидента работу сервиса удалось восстановить, но на старой резервной копии.