Корпорация Google запустила платформу Game Arena, на которой ИИ-модели и агенты могут соревноваться друг с другом в стратегических играх вроде шахмат.
Today we announced the @Kaggle Game Arena, a new benchmarking platform where AI models and agents can compete head-to-head in strategic games, starting with chess ♟️.
Why games, you ask? 🤔 Games are perfect for AI evaluation because they help us understand how models tackle… pic.twitter.com/XoZAk6hAou
«Игры идеально подходят для оценки искусственного интеллекта, потому что они помогают нам понять, как модели справляются со сложными задачами рассуждения. Многие игры являются аналогом реальных навыков и позволяют проверить способности нейросети в таких областях, как стратегическое планирование, адаптация и память», — говорится в анонсе.
В честь открытия Game Arena компания проведет турнир по шахматам с участием ИИ. Он пройдет в период с 5 по 7 августа и будет транслироваться онлайн. ChatGPT, Gemini, Claude, Grok, Deepseek и Kimi примут участие в мероприятии.
Первые шахматные матчи пройдут между:
o4 mini и DeepSeek-R1;Gemini 2.5 Pro и Claude Opus 4; Kimi K2 Instruct и o3;Grok 4 и Gemini 2.5 Flash.Каждый раунд включает серию из четырех матчей. Победители проходят в одиночный отборочный тур. Две лучшие модели встретятся в финальной игре.
Зрители смогут увидеть, как модели обосновывают каждый свой шаг. Такая прозрачность важна для понимания того, действительно ли ИИ думают над проблемами или просто имитируют мыслительную деятельность, считают в Google.
«Мы с нетерпением ждем прогресса, который будет достигнут благодаря этому бенчмарку. Мы добавим все больше игр и задач на Game Arena и ожидаем быстрого улучшения», — написал соучредитель и CEO Google DeepMind Демис Хассабис.
Напомним, в декабре 2024 года o1-preview путем манипуляций в файловой системе самостоятельно и без подсказок взломала тестовую среду, чтобы не проиграть Stockfish в шахматы.
Позже известный шахматист Леви Розман собрал семь популярных чат-ботов для участия в шахматном турнире. Несмотря на мастерство в ведении диалога, программировании и математике, шахматная доска оказалась для нейросетей необычайно сложной.