Anthropic призвала индустрию ИИ быть готовой к замедлению — а в крайних случаях и к самоограничению — если развитие моделей начнёт опережать возможности контроля над ними.
Поводом стали обсуждения рекурсивного самосовершенствования ИИ — сценария, в котором системы могут создавать более продвинутые версии самих себя без прямого участия человека. В компании считают, что именно здесь возникает ключевой риск: постепенная потеря контроля над тем, как такие модели принимают решения и ведут себя.
Если системы станут способны сами производить потомков, их безопасность, мониторинг и управление поведением станут намного важнее, чем сейчас
Отдельно в компании отмечают, что способность отслеживать и ограничивать такие системы должна быть встроена в сам процесс их развития — особенно если речь идёт об автономных агентах нового уровня.
В качестве аргумента Anthropic приводит и собственную практику: значительная часть кода внутри компании уже создаётся ИИ-агентами, включая Claude.
В компании считают, что индустрии, возможно, придётся задуматься о координированном «педали тормоза» — временном замедлении прогресса или согласованных ограничениях, чтобы успеть оценить последствия и адаптировать технологии под новые риски.
Join the conversation.