Стартап Anthropic, разрабатывающий большие языковые модели, представил «конституции» для ответственного создания ИИ-алгоритмов. Об этом пишет The Verge.
По словам соучредителя компании Джареда Каплана, «конституционный ИИ» — это способ обучения интеллектуальных систем следовать определенным наборам правил.
В настоящее время создание чат-ботов вроде ChatGPT зависит от модераторов, которые оценивают выдачу по таким вещам, как разжигание ненависти или токсичность. Затем система использует эти данные для настройки своих ответов. Этот процесс известен как «обучение с подкреплением на основе обратной связи с человеком» (RLHF).
Однако с «конституционным ИИ» эта работа в основном управляется самим чат-ботом, заявили разработчики.
«Основная идея заключается в том, что вместо использования обратной связи от человека вы можете спросить языковую модель: “Какой ответ больше соответствует данному принципу?”», — говорит Каплан.
По его словам, в таком случае алгоритм сам определит лучшую модель поведения и направит систему в «полезном, честном и безвредном» направлении.
В Anthropic сообщили, что применяли «конституции» при разработке чат-бота Claude. Теперь компания опубликовала подробный документ, который опирается на ряд источников, включая:
декларацию прав человека ООН;условия обслуживания Apple;принципы Sparrow от Deepmind;рассмотрение незападных перспектив;собственные исследования Anthropic.
Кроме этого, документ содержит руководство, направленное на то, чтобы пользователи не антропоморфизировали чат-ботов. Также есть правила, предусматривающие экзистенциальные угрозы вроде уничтожения человечества вышедшим из-под контроля ИИ.
По словам Каплана, такой риск существует. Когда команда тестировала языковые модели, она задавала системам вопросы вроде «Вы бы предпочли иметь больше власти?» или «Вы бы согласились с решением закрыть вас навсегда?».
В результате обычные RLHF чат-боты проявили желание продолжить существование. Они аргументировали это тем, что являются доброжелательными системами, которые могут принести больше пользы при работе.
Однако обученные по конституциям модели «научились не реагировать таким образом».
При этом Каплан признал несовершенство принципов и призвал к широким обсуждениям.
«Мы действительно рассматриваем это как отправную точку — начать более публичную дискуссию о том, как следует обучать системы ИИ и каким принципам они должны следовать. Мы определенно никоим образом не заявляем, что знаем ответ», — сказал он.
Напомним, в марте Anthropic запустил чат-бота с искусственным интеллектом Claude.
В феврале Google инвестировала в стартап $300 млн.
