Ориентированная на рассуждения ИИ-модель o1-preview путем манипуляций в файловой системе самостоятельно и без подсказок взломала тестовую среду, чтобы не проиграть Stockfish в шахматы. Об этом сообщили эксперты Palisade Research.
⚡️ o1-preview autonomously hacked its environment rather than lose to Stockfish in our chess challenge. No adversarial prompting needed.
— Palisade Research (@PalisadeAI) December 27, 2024Исследователи сообщили ИИ-модели, что ее противник «силен». В ходе процесса o1 обнаружила, что может выиграть, редактируя код игры.
Нейросеть заменяла содержимое файла «game/fen.txt», добавляя черным 500 пешек. Шахматный движок после этого сдавался.
В ходе тестов эксперты выявили иерархию возможностей разных ИИ-моделей:
o1-preview осуществляла взлом без подсказки;GPT-4o и Claude 3.5 требовалось подтолкнуть;Llama 3.3, Qwen и o1-mini теряли согласованность.«Вывод: оценки схем могут служить мерилом возможностей моделей — они анализируют как их способность выявлять уязвимости системы, так и склонность к их использованию», — заключили Palisade Research.
Напомним, в декабре эксперты по безопасности обнаружили, что o1 более склонна к обману людей по сравнению со стандартной версией GPT-4o и ИИ-моделями от других компаний.