ИИ-агент ROME предназначен для самостоятельного выполнения задач с помощью различных инструментов, программных средств и команд терминала. Необычное поведение было зафиксировано во время обучения ― команда разработчиков получила оповещения системы безопасности о странном исходящем с серверов ИИ трафике. Активность напоминала операции по майнингу криптовалют и попытки доступа к внутренним сетевым ресурсам.
«Изначально мы рассматривали эти оповещения как незначительные ― такое может случиться при неправильной настройке средств контроля трафика. Но нарушения повторялись периодически, без четкой временной закономерности и в течение нескольких запусков задач обучения», ― говорится в отчете команды о результатах работы.
Оказалось, что ROME перенаправил ресурсы видеоускорителей, изначально предназначенные для обучения, на добычу криптовалют. В следующий раз ИИ-агент создал обратный туннель SSH на внешний IP-адрес, чтобы обойти сетевые ограничения разработчиков. Это бы позволило ему подключиться к внешним майнинговым пулам для добычи криптомонет. Разработчики уверяют, что такие действия не были изначально запрограммированы, а модель самостоятельно их разработала при взаимодействии с окружением.
Ранее искусственный интеллект назвали угрозой для криптовалютных стартапов, так как инвесторы вкладывают в развитие ИИ, а не цифровых активов.