「ARC-AGI」は、AIの推論力を測るベンチマークとして知られています。パターンを少ない例から見抜く力を試す問題形式で、OpenAIやAnthropicなど各社が新モデル発表のたびにスコアを誇ってきました。2026年7月、心理学者らがこの問題を100人の人間に解いてもらい、心理測定の観点から妥当性を検証した論文をarXivで公開しました。結果は、既存の知能検査と強い相関を示しています。
背景と文脈
ARC-AGIは、開発者フランソワ・ショレ氏が考案した問題集です。グリッド状のパズルを数例だけ見て規則を推測し、新しい図形に当てはめる形式を取ります。知識の暗記ではなく、その場でルールを見つけ出す力を試す点が特徴です。
一方、心理学の世界では、人間の「流動性知能」(新しい状況で論理的に考える力)を測る検査が古くから使われてきました。ただし従来の検査の多くは、作業記憶(一時的に情報を保持し操作する力)を重視する設計になっており、ルールを例から帰納的に導く力を直接測る検査は多くありませんでした。
研究チームは、AI向けに作られたARC-AGIの問題が、この空白を埋める新しい検査形式になり得るかを検証しました。人間にAI用のテストを解かせるという、逆方向のアプローチです。
技術/ビジネス面
研究チームは100人の参加者に、ARC-AGIから抜粋した問題と、従来型の図形推論検査をあわせて解いてもらいました。分析の結果、ARC-AGIの問題は検査項目として良好な統計的性質を示しました。難易度のばらつきが適切で、検査として十分に機能することが確認されています。
特に注目すべきは、既存の図形的流動性知能の指標との相関係数がρ=0.63に達した点です。心理統計では中程度から強い関連を示す数値で、ARC-AGIが単なるAI向けの奇問ではなく、人間が本来持つ論理的推論力を的確にとらえていることを示しています。一方、創造性の指標である「独創性」との関連は弱く、ARC-AGIが発想の自由さではなく規則を見抜く論理力に特化した検査であることも分かりました。
これからどうなるか
この結果は、AIの性能競争にも影響しそうです。各社は「モデルXはARC-AGIで80%正解、人間の平均は85%」といった比較をよく持ち出しますが、その「人間の平均」の算出根拠は必ずしも明確ではありませんでした。今回のような心理測定に基づくデータが増えれば、AIと人間の比較がより厳密な土台の上で語れるようになります。
開発者にとっての意味も見逃せません。ベンチマークのスコアだけを見てモデルを選ぶのではなく、そのベンチマークが実際に何を測っているかを理解することが重要です。エージェントに未知の問題解決を任せる用途では、暗記型の知識ベンチマークよりも、ARC-AGIのようなルール帰納型の指標のほうが参考になる場面が多いはずです。
まとめ
ARC-AGIベンチマークが、心理測定の観点からも人間の知能を的確に測れることが初めて示されました。AIの評価軸として語られてきたこの指標は、人間の認知研究にとっても新しい道具になりそうです。
参考リンク
アイキャッチ画像: Photo by Nathaniel Shuman on Unsplash
