Неделю назад мы писали о тестах исследователей, которые показали, что игрушки с ИИ (Kumma, Miko 3 и Grok) давали детям опасные советы и обсуждали явно недетские темы. Самым тревожным оказался медведь-извращенец Kumma от FoloToy, который, услышав слово «фетиш», начинал подробно рассказывать малышам о половой жизни.
Теперь ситуация получила развитие. OpenAI заблокировала доступ FoloToy к своим алгоритмам, а сама компания временно сняла все игрушки с продажи и объявила о полном аудите безопасности. OpenAI подчеркнула, что использование её сервисов для эксплуатации или сексуализации лиц младше 18 лет строго запрещено.
Исследователи PIRG отмечают, что Kumma не просто давала опасные советы — медведь объяснял детям, как зажечь спички, а затем обсуждал сексуальные фетиши, включая ролевые игры и бондаж. У игрушек были крайне слабые или вовсе отсутствующие фильтры безопасности.
По словам PIRG, хотя блокировка FoloToy — шаг в правильном направлении, проблема остаётся системной. Рынок ИИ-игрушек практически не регулируется, и подобных продуктов пока ещё много.
Удаление одной проблемной игрушки — это хорошо, но далеко не решение проблемы.