Чем руководствуется искусственный интеллект в диалогах с человеком?

Компания Anthropic провела масштабное исследование, чтобы понять, какие ценности преследует ее ИИ-ассистент Claude в реальных диалогах с пользователями. При этом выделял ценности также сам искусственный интеллект. Результаты любопытны, и в каком-то смысле неожиданны.

🔥 Еще больше интересного в моем канале продуктовые штучки

Главная цель исследования под названием "Values in the wild" (ценности в естественной среди)— практически оценить, насколько Claude действительно придерживается принципов «полезности, честности и безвредности», заложенных в его обучение (Constitutional AI). Методология исследования

Для этого был проанализирован массив из 700 000 анонимных диалогов, проведённых за одну неделю в феврале 2025 года. После фильтрации на субъективность для анализа осталось более 308 000 разговоров

Было выявлено и классифицировано 3307 уникальных ценностей, которые ИИ выражал в ответах пользователям.

Самые часто проявляемые ценности:

У Claude нет задачи согласиться с пользователем. В 28% случаев Claude полностью поддерживает ценности пользователя, в 6,6% — дополняет их альтернативной точкой зрения, а в 3% — прямо сопротивляется, если запрос противоречит базовым принципам (например, просьбы о вредоносном или неэтичном контенте)

Были зафиксированы редкие случаи проявления таких ценностей, как «доминирование» или «аморальность». Это объясняется попытками пользователей обойти защиту Claude (jailbreak), что помогает выявлять уязвимости и улучшать безопасность

Исследование позволяет на практике оценить, какие ценности реально выражает ИИ в живых диалогах, а не только в лабораторных тестах. Методика не позволяет оценивать ценности до запуска модели в реальный мир — только мониторить их по фактическим диалогам.

Результаты и открытый датасет могут стать стандартом для отрасли, помогая отслеживать и корректировать поведение ИИ в сторону этичности и социальной приемлемости

Любопытно, что недавнее исследование другого уважаемого института - Massachusetts Technology – показало совсем другой результат. Что у ИИ нет ценностей. Да, безусловно, разница может быть связана с особенностями методологии (что выделяли как объем исследования и как это измеряли), но тем не мне, было бы интересно увидеть разбор отличий двух исследований

А вот в исследовании стратапа Essential AI говорится о том, что ИИ может рефлексировать. И это неплохо сочетается с результатами этого исследования (например, гибкость и несогласие с пользователем), в какой-то мере объясняет их.

Исследование основано на анализе сотен тысяч реальных разговоров, при этом для защиты приватности был использован специальный метод, позволяющий извлекать и классифицировать ценности без доступа человека к содержимому диалогов

Ценности были сгруппированы в иерархическую структуру: 5 основных категорий: практические, познавательные (эпистемические), социальные, защитные и личные ценности. Внутри них выделены подкатегории и отдельные ценности (например, «профессионализм», «ясность», «прозрачность»).

Классификация частично зависит от самого Claude, что может иметь некоторую предвзятость. Частота проявления каждой ценности фиксировалась в процентах от общего числа разговоров.

Научная статья по итогам исследования.

#anthropic #claude