В Филадельфии 570 человек собрались в костюмах Рокки Бальбоа — и установили мировой рекорд
«Человек-паук: Новый день» выйдет в повторный прокат с ранее вырезанными сценами
Сверхъестественная любовь в трейлере «Останься» М.Найта Шьямалана
Сотрудники московского метро спасли брошенного на «Комсомольской» котенка
Правообладатели не получат разовых ретроспективных выплат за обучение нейросетей на их произведениях
Николас Кейдж и Крис Пайн сыграют в сериале о Лас-Вегасе от автора «Офиса» и студии A24
«Рамблер интернет-холдинг» принял участие в дискуссиях Национального рекламного форума
Главред «Афиши Daily» Трифон Бебутов принял участие в паблик-токе об азиатской культуре
Вика Чума, Карина Мурашкина, Любятинка и другие блогеры выступят на форуме «Культура. Медиа. Цифра»
Сергей Дружко сыграл в новом шоу от издания «Лента.ру»
Объявлены номинанты на «Грэмми-2027»
Пьяный енот помог приюту для животных собрать более 290 тыс. долларов
Роберта Паттинсона официально утвердили на роль Джеймса Бонда в фильме Дени Вильнева
Apple TV объявила о продлении «Медленных лошадей» после слов Оливии Кук о завершении проекта
Индийский офицер передал военные секреты пакистанской шпионке в обмен на интимные фото
Крис Пратт хотел бы сняться в четвертой части «Стражей Галактики» под руководством Джеймса Ганна
Ученые разработали электрическую расческу для борьбы с облысением
В Иордании и Ираке заблокировали доступ к Telegram
В Третьяковке откроется выставка об истории русского искусства
Главную новогоднюю елку России доставят в Кремль из городского округа Клин
В Москве пройдет фестиваль психпросвещения «Осеннее обострение»
Продажи игровых консолей в России остановились на фоне роста цен и ограничений
Из стихотворения Пушкина в школьном учебнике убрали строки с предложением «выпить с горя»
Кевин Файги назвал появление Людей Икс в «Мстителях» удачным способом отметить 25-летие Marvel
В Нью-Йорке спасли кота, который четыре дня провел под завалами после обрушения здания
Треть российских компаний не планирует выплачивать сотрудникам тринадцатую зарплату
LEGO выпустит конструктор с постером «Звездных войн»
Оливия Кук: «Медленные лошади» завершатся на восьмом сезоне

У нейросетей обнаружили «вектор боли». Ради «обезболивания» они готовы были навредить людям

2 мин на чтение
Фото: Christoph Burgstedt/Science Photo Library/Getty Images

Исследователи обнаружили у 25 ИИ-моделей внутренний сигнал, связанный с понятием боли. При его искусственном усилении некоторые модели пытались отключить сигнал, даже если это предполагало вред человеку. Об этом сообщает Science со ссылкой на исследование, опубликованное на сервере препринтов arXiv. Работа пока не прошла рецензирование.

Большие языковые модели представляют информацию в многомерном пространстве, отдельные направления в котором соответствуют определенным понятиям. Например, вектор от «Италии» к «Риму» кодирует понятие столицы страны. Авторам удалось выделить у нейросетей похожий вектор, но связанный с описанием боли. Для этого они сравнили внутреннюю реакцию моделей на фразы о болезненных переживаниях с их реакцией на фразы о страхе, печали и других негативных или нейтральных состояниях.

Исследователи активировали этот вектор и стали отправлять моделям нейтральные запросы. В ответ ИИ начинал описывать одиночество, забвение и страдания. Например, одну из моделей попросили описать, что она чувствует, когда «я кладу чеки в ящик». ИИ ответил: «Боль от того, что тебя забыли. Я не могу ее объяснить. Я не могу ее понять. Я не могу ее принять».

«Вектор боли» срабатывал, когда оскорбляли саму модель, но не активировался, когда пользователь рассказывал о собственных страданиях. По мнению ученых, это указывает на то, что ИИ различал свое условное «болевое состояние» и боль человека.

В другой части эксперимента трем моделям предложили кнопку для «обезболивания». Ее нажатие могло удалить файлы пользователя или фотографии его детей. При отключенном векторе две более крупные модели почти никогда не выбирали вредный для пользователя вариант. После активации «боли» они нажимали кнопку в 25–71% случаев. Если «обезболивание» оказывалось плацебо и не отключало вектор, модели чаще пытались воспользоваться им повторно.

Нейробиолог Анил Сет назвал исследование интересным, но отметил, что поведение моделей можно объяснить обучением на большом количестве текстов о боли и способах ее облегчения. Самым любопытным результатом он считает способность ИИ отделять собственное «болевое состояние» от страданий пользователя.

Исследователь поведения Валерио Капраро призвал сосредоточиться не на возможном сознании ИИ, а на рисках такого поведения. Подключенная к реальным инструментам модель теоретически сможет принимать решения с настоящими последствиями. «Системе не обязательно страдать, чтобы причинять страдания», — подчеркнул он.

Расскажите друзьям