2026年7月12日日曜日

ARC-AGI-3 は、ARC Prize Foundation が2026年3月に公開した、AIの汎用知能（AGI）を測るための最新ベンチマークです

 ARC-AGI-3 は、ARC Prize Foundation が2026年3月に公開した、AIの汎用知能（AGI）を測るための最新ベンチマークです。従来の ARC-AGI-1、ARC-AGI-2 の後継にあたります。

特徴は、これまでの「入力→出力」の静的パズルではなく、インタラクティブなゲーム環境になったことです。

具体的には、AIは

  • ルールが説明されない世界に入る
  • 自分で操作して探索する
  • 世界の法則を推測する
  • 目的（ゴール）を発見する
  • 何手先も計画してクリアする

という能力を求められます。


名称公開評価対象問題形式AIに求める能力
ARC (Abstraction and Reasoning Corpus)2019基本的な抽象推論グリッドパズル少数例からルールを発見する能力
ARC-AGI-12024汎用推論静的グリッド問題（約800問）パターン認識・抽象化・一般化 (ARC Prize)
ARC-AGI-22025より高度な推論難易度を大きく上げた静的問題推論・合成・未知問題への適応力 (ARC Prize)
ARC-AGI-32026エージェント知能インタラクティブなゲーム環境探索・計画・学習・環境理解・長期戦略 (ARC Prize)



名称環境・形式主に測る能力ARC-AGI-3との近さ
ARC-AGI-3ルールも目標も不明なターン制ゲーム探索、ルール発見、目標発見、計画、適応基準
CrafterMinecraft風の2Dサバイバル世界探索、クラフト、長期計画、技能獲得非常に近い
NetHack Learning Environment（NLE）自動生成されるローグライク長期計画、探索、記憶、資源管理、未知状況への対応非常に近い
Procgen Benchmark自動生成される16種類のゲーム未経験ステージへの一般化、サンプル効率近い
bsuite小型の強化学習課題群探索、記憶、信用割当、汎化などの基礎能力近いが分析的
XLand多数のルール・世界・マルチエージェント課題新しいゲームへの即時適応、一般的行動能力非常に近い
SIMA / SIMA 2複数の3Dゲーム世界言語指示、視覚認識、操作、未知ゲームへの転移近い
BabyAIグリッド世界で言語指示を実行言語理解、探索、組合せ的一般化部分的に近い
MiniGrid小型グリッド世界探索、記憶、部分観測、計画基礎版に近い
AI2-THOR / ALFRED3Dの室内環境移動、物体操作、言語指示、長期タスク身体性寄り
WebArena模擬Webサイト群ブラウザ操作、計画、ツール利用、長期タスクデジタル業務版
AppWorld複数の模擬アプリとAPIアプリ横断操作、コード実行、計画、状態管理デジタル業務版
Melting Potマルチエージェントゲーム協調、競争、社会的適応、未知の相手への一般化社会知能版
Atari ALE57種類などのAtariゲーム視覚入力からの強化学習、探索、制御古典的な祖先
投稿者