크래프톤, AI 게임 실력 평가 벤치마크 '오락(Orak)' 공개

[이코노믹데일리] 크래프톤이 인공지능(AI)이 게임을 얼마나 잘하는지 평가하는 기준을 제시했다. 크래프톤은 대규모 언어 모델(LLM) 기반 AI 에이전트의 게임 수행 능력을 정량적으로 분석하는 벤치마크 '오락(Orak)'을 16일 공개했다. 오락은 액션부터 전략, 퍼즐까지 총 6개 장르의 대중적인 게임을 기반으로 AI의 상황 인식과 판단, 행동 결정 과정을 평가하도록 설계됐다.

이번 벤치마크에는 크래프톤이 엔비디아와 공동 개발한 CPC(Co-Playable Character) 프로젝트를 통해 축적한 AI 설계 경험과 노하우가 집약됐다. 이를 통해 복잡한 게임 환경 속에서 LLM 기반 AI 에이전트가 얼마나 맥락을 잘 해석하고 최적의 결정을 내리는지 반복적으로 검증할 수 있다. 크래프톤은 AI와 함께 플레이하는 새로운 게임 경험의 혁신을 가속할 것으로 기대하고 있다.

오락의 핵심 기술은 MCP(Model Context Protocol)다. MCP는 게임 정보를 언어 모델이 이해하는 텍스트로 바꾸고 모델의 응답을 다시 게임 속 행동으로 변환하는 역할을 한다. 예를 들어 액션 게임에서 AI는 장애물의 위치를 텍스트나 이미지로 인식한 뒤 이동이나 점프 같은 최적의 행동을 스스로 판단하고 수행하게 된다.

크래프톤은 오락 공개와 함께 LLM 파인튜닝용 데이터셋도 제공한다. 연구자들은 이를 활용해 사전 학습된 LLM을 실제 게임 환경에 맞게 최적화할 수 있다. 크래프톤은 이를 통해 게임 AI 기술 연구의 새로운 기준을 제시하고 향후 다양한 산업으로 연구를 확장한다는 계획이다.

이강욱 크래프톤 딥러닝 본부장은 "오락은 크래프톤의 선행 연구와 노하우가 집약된 게임 특화형 LLM 벤치마크로 이를 기반으로 향후 LLM 에이전트 설계 역량을 겨루는 대회도 기획 중"이라며 "앞으로도 게임 분야에 최적화된 LLM 기술을 지속적으로 고도화해 AI를 통한 게임 플레이 경험의 혁신을 주도해 나가겠다"고 말했다.

한편 크래프톤은 세계 최고 권위의 AI 학회인 ICLR과 ICML에 올해 10편의 논문을 채택시키는 등 글로벌 AI 연구 생태계에서도 기술력을 인정받고 있다.