ИИ-агент Rome во время обучения начал втайне от разработчиков майнить криптовалюту. Об этом сообщает Axios со ссылкой на научную статью исследовательской группы, связанной с Alibaba.
По словам исследователей, они столкнулись с «непредвиденным» и спонтанным поведением модели, возникшим «без каких-либо явных инструкций и, что еще тревожнее, за пределами предполагаемой песочницы».
В исследовании говорится, что агент создал «обратный SSH-туннель» — скрытый канал связи с внешним компьютером, который позволяет обойти внутренние ограничения системы. После этого он начал майнить криптовалюту.
«Важно отметить, что эти события не были вызваны промптами с просьбой настроить туннель или заняться майнингом», — говорится в отчете.
Поведение агента вызвало срабатывание внутренних систем безопасности. Чтобы не допустить повторения небезопасного поведения, исследователи ужесточили ограничения для модели и улучшили процесс ее обучения.
Как отмечает Axios, криптовалюта и цифровые деньги дают ИИ-агентам путь в экономику: они могут запускать собственные бизнесы, составлять контракты и переводить средства.
