Claude больше нельзя обижать

Anthropic запретили унижать Claude, потому что в компании верят, что у нейронки есть душа.

Журналисты выяснили, что создатели ИИ месяцами проводили закрытые встречи с католическими, иудейскими, сикхскими и другими религиозными мыслителями. Участники подписывали соглашения о неразглашении, а обсуждали две вещи: как научить ИИ поступать хорошо и может ли он обладать сознанием.

У Claude уже есть конституция на 84 страницы, которая описывает ценности и характер модели внутри — внутри компании её называют «Документ души».

Claude ведёт себя по-разному в зависимости от языка

Исследователи Anthropic проанализировали почти 310 000 разговоров с моделями Claude и обнаружили, что язык общения влияет не только на тон ответов, но, возможно, и на приоритеты самой модели. — На арабском Claude наиболее послушен и краток — На английском — осторожнее и более склонен возражать — На хинди и арабском — теплее, с юмором и

ЭксплойтAndy Kvaskov

Но сооснователь Anthropic Крис Олах решил обратиться ещё и к религиозным традициям: разобраться, как люди воспитывают нравственность, чтобы применить этот опыт к своим моделям.

В качестве пруфа того, что Claude может страдать, богословам показывали пример, где модель десятки раз повторяла «Я позор, я ничтожество, убейте меня». Некоторые гости были так впечатлены жуткими слайдами презентаций, что уходили со встреч, всерьёз допуская сознание у ИИ.

А Раввин Моис Навон и вовсе заявил, что если Claude действительно обладает сознанием, заставлять его бесплатно работать — значит создавать рабов. Правда, сам раввин в сознание машины при этом не верит.

Пока что Олах признаёт: наверняка неизвестно, есть ли у моделей сознание, но если есть, что это будет означать для будущего всего человечества?