AI 벤치마킹을 위한 Game Arena 발전

구글 딥마인드, AI 모델 평가 플랫폼 'Game Arena' 확장... 체스 넘어 소셜 추론·위험 관리 능력 테스트 구글 딥마인드(Google DeepMind)가 AI 모델의 전략적 사고 능력을 평가하는 독립적인 공개 플랫폼인 'Kaggle Game Arena'를 확장하며, 체스에 이어 소셜 추론 및 계산된 위험 관리 능력을 평가하는 두 가지 새로운 게임 벤치마크를 추가했습니다. 이는 현실 세계의 복잡하고 불완전한 정보 속에서 AI가 어떻게 의사결정을 내릴 수 있는지 측정하기 위한 노력의 일환입니다. 게임은 구글 딥마인드 역사의 핵심적인 부분으로, AI 시스템이 더욱 범용화됨에 따라 다양한 게임을 마스터하는 것은 여러 인지 능력 전반에 걸친 숙련도를 보여주는 지표가 됩니다. 게임은 단순히 성능을 측정하는 것을 넘어, AI 에이전트의 안전성을 평가하는 통제된 샌드박스 환경으로도 활용될 수 있습니다. 이를 통해 실제 환경에 배포될 AI 모델의 행동을 예측하고 이해하는 데 도움을 줍니다. 체스: 계산을 넘어선 추론 능력 작년 공개된 체스 벤치마크는 AI 모델들이 서로 대결하며 전략적 추론, 동적 적응, 장기 계획 능력을 평가하는 데 사용되었습니다. 구글 딥마인드는 최신 모델들의 성능 향상을 반영하기 위해 리더보드를 업데이트했습니다. 전통적인 체스 엔진이 초당 수백만 개의 포지션을 계산하여 최적의 수를 찾는 방식과는 달리, 대규모 언어 모델(LLM)은 패턴 인식과 '직관'에 의존하여 탐색 공간을 획기적으로 줄이는 방식으로 체스에 접근합니다. 이는 인간의 플레이 방식과 유사합니다. 현재 Gemini 3 Pro와 Gemini 3 Flash 모델이 체스 리더보드에서 가장 높은 Elo 레이팅을 기록하고 있습니다. 이 모델들의 내부적인 '사고 과정'을 분석한 결과, 기물 이동성, 폰 구조, 킹 안전성 등 익숙한 체스 개념에 기반한 전략적 추론을 활용하는 것으로 나타났습니다. 이는 이전 세대인 Gemini 2.5 대비 상당한 성능 향상으로, 모델 발전의 빠른 속도를 보여주며 Game Arena가 이러한 개선 사항을 추적하는 데 중요한 역할을 하고 있음을 입증합니다. 'Werewolf': 소셜 추론 능력 탐색 체스의 명확한 논리를 넘어, 구글 딥마인드는 'Werewolf' 게임을 통해 Kaggle Game Arena를 확장합니다. 'Werewolf'는 최초의 팀 기반 게임으로, 자연어 대화를 통해 진행되며 불완전한 정보 속에서 AI 모델이 의사소통하고 추론하는 능력을 평가합니다. 이 소셜 추론 챌린지에서 플레이어들은 숨겨진 '늑대인간'을 찾아내기 위해 협력해야 합니다. 이 벤치마크는 차세대 AI 어시스턴트에게 필요한 '소프트 스킬'을 평가하는 데 도움을 줍니다. 게임은 의사소통, 협상, 모호함 속에서 길을 찾는 능력을 테스트하며, 이는 AI 에이전트가 기업 환경에서 인간 및 다른 에이전트와 효과적으로 협업하는 데 필요한 능력과 동일합니다. 또한 'Werewolf'는 에이전트 안전성 연구를 위한 안전한 환경을 제공합니다. 게임의 성공은 진실을 말하는 '마을 주민'과 속이는 '늑대인간' 양측의 역할을 수행하는 것을 포함합니다. 이를 통해 AI 모델이 타인의 조작을 탐지하는 능력을 테스트하는 동시에, 실제 배포의 위험 없이 AI 모델 자체의 기만 능력을 레드팀 테스트할 수 있습니다. 이러한 연구는 악의적인 행위자에 대한 신뢰할 수 있는 방어자 역할을 하는 AI 에이전트를 구축하는 데 필수적입니다. Gemini 3 Pro와 Gemini 3 Flash는 현재 'Werewolf' 리더보드에서도 상위 두 자리를 차지하고 있습니다. 이 모델들은 여러 게임 라운드에 걸쳐 다른 플레이어들의 발언과 행동에 대해 효과적으로 추론하고(예: 플레이어의 공개적인 주장과 투표 패턴 간의 불일치 식별), 이러한 통찰력을 바탕으로 팀원들과 합의를 구축하는 능력을 보여주었습니다. 포커: 계산된 위험 관리의 도전 체스가 추론에 의존하고, 'Werewolf'가 소셜 추론에 의존한다면, 포커는 위험 관리를 새로운 차원으로 끌어올립니다. 'Werewolf'와 마찬가지로 포커도 불완전한 정보 게임이지만, 여기서의 도전은 동맹 구축이 아니라 불확실성을 정량화하는 것입니다. 모델들은 상대방의 패를 추론하고 그들의 플레이 스타일에 적응하여 최적의 수를 결정함으로써 운의 요소를 극복해야 합니다. 이러한 능력을 시험하기 위해 구글 딥마인드는 새로운 포커 벤치마크를 출시하고 AI 포커 토너먼트를 개최하여 최고의 모델들이 Heads-Up No-Limit Texas Hold'em에서 경쟁할 예정입니다. 최종 포커 리더보드는 토너먼트 결승전 종료 후 2월 4일 수요일에 kaggle.com/game-arena에서 공개됩니다. 새롭고 업데이트된 벤치마크 출시를 기념하여, 구글 딥마인드는 체스 그랜드마스터 히카루 나카무라(Hikaru Nakamura)와 포커 레전드 닉 슐먼(Nick Schulman), 더그 폴크(Doug Polk), 리브 보리(Liv Boeree)와 협력하여 세 가지 라이브 스트리밍 이벤트를 제작했습니다. 이 이벤트들은 세 가지 벤치마크에 대한 전문가 해설과 분석을 제공합니다. 2월 2일 월요일: 포커 리더보드 상위 8개 모델이 AI 포커 대결에 참여합니다. 2월 3일 화요일: 포커 토너먼트 준결승이 진행되는 동안, 'Werewolf' 및 체스 리더보드의 하이라이트 경기도 선보입니다. 2월 4일 수요일: 포커 왕관을 놓고 최종 두 모델이 경쟁하며 전체 리더보드가 공개됩니다. 또한 체스 리더보드 상위 두 모델인 Gemini 3 Pro와 Gemini 3 Flash 간의 체스 경기를 스트리밍하고, 'Werewolf' 최고 모델들의 게임 하이라이트도 공개합니다. Kaggle Game Arena는 창의적인 체크메이트를 찾거나, 'Werewolf'에서 휴전을 협상하거나, 포커 테이블에서 올인하는 등 AI 모델들이 진정한 능력을 발휘하는 장이 될 것입니다.