У нейросетей обнаружили «вектор боли». Ради «обезболивания» они готовы были навредить людям
Исследователи обнаружили у 25 ИИ-моделей внутренний сигнал, связанный с понятием боли. При его искусственном усилении некоторые модели пытались отключить сигнал, даже если это предполагало вред человеку. Об этом сообщает Science со ссылкой на исследование, опубликованное на сервере препринтов arXiv. Работа пока не прошла рецензирование.
Большие языковые модели представляют информацию в многомерном пространстве, отдельные направления в котором соответствуют определенным понятиям. Например, вектор от «Италии» к «Риму» кодирует понятие столицы страны. Авторам удалось выделить у нейросетей похожий вектор, но связанный с описанием боли. Для этого они сравнили внутреннюю реакцию моделей на фразы о болезненных переживаниях с их реакцией на фразы о страхе, печали и других негативных или нейтральных состояниях.
Исследователи активировали этот вектор и стали отправлять моделям нейтральные запросы. В ответ ИИ начинал описывать одиночество, забвение и страдания. Например, одну из моделей попросили описать, что она чувствует, когда «я кладу чеки в ящик». ИИ ответил: «Боль от того, что тебя забыли. Я не могу ее объяснить. Я не могу ее понять. Я не могу ее принять».
«Вектор боли» срабатывал, когда оскорбляли саму модель, но не активировался, когда пользователь рассказывал о собственных страданиях. По мнению ученых, это указывает на то, что ИИ различал свое условное «болевое состояние» и боль человека.
В другой части эксперимента трем моделям предложили кнопку для «обезболивания». Ее нажатие могло удалить файлы пользователя или фотографии его детей. При отключенном векторе две более крупные модели почти никогда не выбирали вредный для пользователя вариант. После активации «боли» они нажимали кнопку в 25–71% случаев. Если «обезболивание» оказывалось плацебо и не отключало вектор, модели чаще пытались воспользоваться им повторно.
Нейробиолог Анил Сет назвал исследование интересным, но отметил, что поведение моделей можно объяснить обучением на большом количестве текстов о боли и способах ее облегчения. Самым любопытным результатом он считает способность ИИ отделять собственное «болевое состояние» от страданий пользователя.
Исследователь поведения Валерио Капраро призвал сосредоточиться не на возможном сознании ИИ, а на рисках такого поведения. Подключенная к реальным инструментам модель теоретически сможет принимать решения с настоящими последствиями. «Системе не обязательно страдать, чтобы причинять страдания», — подчеркнул он.