物理学者50人以上が参加した論文「How Good Are Frontier Models at Physics?」が、最先端のAIモデル（フロンティアモデル：各社が公開する時点で最も性能の高いモデル群を指す呼び方）の物理学ベンチマーク成績を採点し直したところ、正答率が大きく上振れしました。代表的な物理ベンチマークの一つでは、47.3%だった正答率が採点見直し後に78.7%まで上昇しています。問題や採点基準そのものに不備があったケースが多数見つかった格好です。
背景と文脈
AIモデルの実力を測るベンチマーク（性能評価用のテスト問題集）は数多く存在しますが、その採点結果がどこまで正確かは、あまり検証されてきませんでした。特に物理学のような専門分野では、問題文の曖昧さや模範解答の誤りが、モデルの実力とは無関係にスコアを下げてしまう可能性が指摘されています。
研究チームは、Ali Ansari氏を筆頭に物理学の教員や大学院生ら50人以上を動員し、HLE-Physics、CMT-Benchmark、CritPt、UGPhysics、PRISM-Physics、PHYBenchという6つの物理ベンチマークを対象に、最終的な数値で正誤を機械的に判定できる問題に絞って検証を行いました。単にモデルの回答を採点するのではなく、問題文・模範解答・モデルの回答のすべてを専門家が読み込み直すという、手間のかかる方法をとっています。50人規模の専門家を動員する検証は、一つの研究チームだけで完結できる規模ではなく、物理学コミュニティが協力して取り組んだ点も特徴的です。
技術/ビジネス面
検証の結果、モデルが「不正解」と機械的に判定されていたケースの多くは、実はモデル側の物理的な誤りではなく、採点システムの不具合や模範解答自体の誤り、問題文の説明不足が原因だったことが分かりました。研究チームはこれを「グレーダーエラー」（自動採点プログラムの誤判定）と呼んでいます。
具体的には、HLE-Physicsというベンチマークで、複数回試行の平均正答率（mean@4：同じ問題を4回解かせて平均をとる評価方法）が47.3%から78.7%に上昇しました。CMT-Benchmarkでも61.0%から87.2%へ、CritPtでは問題を絞り込んだうえでpass@4（4回のうち1回でも正解すれば正解扱いとする評価方法）で94.4%という高い数値が出ています。
研究チームは、物理学の専門家が実際にAIモデルを研究で使う際に感じている「かなり優秀だ」という手応えと、既存ベンチマークの低い数値との間にずれがあったと指摘しています。今回の採点見直しによって、フロンティアモデルはこれらの閉じた形式の物理問題に関しては、ほぼ上限に近い水準まで到達していることが明らかになりました。
今回の対象になったベンチマークは、いずれも最終的な数値や記号で答えが一意に決まる「閉じた」問題です。自動採点プログラムが答え合わせをする都合上、問題文の書き方や単位の指定が少しでも曖昧だと、人間なら正解と認める答えでも機械的には不正解と判定されてしまいます。今回の検証は、こうした採点の抜け穴を専門家の目で丁寧に洗い出した点に価値があります。
これからどうなるか
この結果は、AIの性能を語るときに「ベンチマークのスコアが低い＝モデルが弱い」と単純に結論づけることの危うさを示しています。開発者が自社プロダクトの評価にベンチマークを流用する場合も、採点ロジックや模範解答の質を自分の目で確認する重要性が改めて浮き彫りになったといえるでしょう。
一方で、物理の閉じた計算問題でほぼ上限に達したからといって、実験計画の立案や未知の現象の解釈など、正解が一つに定まらない領域でも同じレベルの実力があるとは限りません。今後は、こうした開放的な課題に対応したベンチマークの整備が課題になりそうです。
開発者にとっても示唆は大きいといえます。自社サービスの評価用にAIベンチマークのスコアを参考にする場面は少なくありませんが、数値だけを見て「このモデルは弱い」と判断する前に、テストデータの質そのものを疑ってみる価値がありそうです。特に自作の評価スクリプトで数値の完全一致だけを見て正誤を判定している場合、同じような見落としが起きていないか点検する材料になります。
まとめ
物理学の専門家チームがAIの物理ベンチマークを採点し直したところ、正答率が大幅に上昇しました。原因の多くは採点システムや模範解答の不備で、モデル自体は閉じた物理問題でほぼ上限の実力に達していることが示されています。
参考リンク
アイキャッチ画像: Photo by Raghav Bhasin on Unsplash
