Компании заставляют ИИ говорить как «пещерный человек» для экономии токенов

Некоторые компании начали намеренно упрощать ответы своих ИИ-моделей, превращая их почти в «каменный век общения». Вместо длинных объяснений и вежливых формулировок нейронки выдают короткие фразы в духе «Халк крушить».

Все из-за стремительно растущих расходов на работу с языковыми моделями. Чем длиннее ответ, тем больше токенов он потребляет, а значит — тем дороже обходится каждый запрос.

По данным 404 Media, так называемые «caveman-режимы» уже используют разработчики, работающие с Claude Code, Codex и Gemini. Идея в том, чтобы выжимать максимум смысла при минимуме слов.

Компания случайно потратила $500 млн за месяц на токены Claude

Неназванная американская компания израсходовала полмиллиарда долларов за один месяц на токены Claude от Anthropic. Причина оказалась банальной — никто не установил лимиты для сотрудников. Разработчики и ИИ-агенты генерировали запросы с большим объёмом контекста и токены улетали с пугающей скоростью. Схожая история была и у других компаний. Microsoft в декабре открыла

ЭксплойтAndy Kvaskov

Интересно, что среди пользователей инструмента, по словам его создателя, есть сотрудники крупных компаний вроде OpenAI, Nvidia и GitHub. Более того, один из инженеров OpenAI даже участвовал в доработке поддержки такого плагина для Codex. Это экономит до 65-75% токенов.

Пещерный человек беречь твой токен, беречь твои деньги.