AIモデルの評価に使われるベンチマーク（性能を測るための共通テスト）は、実際の仕事のどこまでを測れているのでしょうか。AI向けの専門家データを手がける米Mercorが、この問いに数字で答える「A benchmark map of the US economy」を公開しました。29のベンチマークを米国の職業データに対応づけた結果、米国の労働時間の約90%は、ベンチマークがほとんど届いていないタスクに使われていると結論づけています。Hacker Newsでは500件を超えるコメントが集まり、AIの「実力」をどう測るかという議論が改めて広がっています。
背景と文脈
AIの性能は、これまで主にベンチマークの点数で語られてきました。コード生成ならSWE-bench（実在のGitHubの課題をAIに直させるテスト）、知識ならMMLU（57分野の知識・推論を問う代表的ベンチマーク）といった具合です。新モデルの発表では、こうした点数の比較が必ず並びます。
一方で「点数は上がっているのに、自分の仕事ではそこまで役に立たない」という声も根強くあります。ベンチマークが測っているのは、作りやすく採点しやすいタスクに偏っているのではないか。この疑問は以前からありましたが、経済全体と照らし合わせた定量的な地図はほとんどありませんでした。
Mercorは、法律や金融などの専門家にAIの学習・評価用データを作ってもらう事業を展開しています。独自のベンチマークAPEX（投資銀行・法律・会計などの実務タスクでAIを採点するテスト群）も公開しています。今回の地図づくりは、その評価チームが手がけたものです。自社の領域に近い調査である点は、読む側が押さえておきたい前提になります。
職業の分類には、米労働省のO*NET（約900の職業とそれぞれの具体的なタスクを収録したデータベース）を使いました。さらに労働統計局の賃金・雇用者数を組み合わせ、どのタスクにどれだけの労働時間と賃金が費やされているかを見積もっています。
技術/ビジネス面
調査の対象は、22の職業群にまたがる923職種と、1万8,797のタスクです。29のベンチマークに含まれる問題を1問ずつ、LLM（Large Language Model、大規模言語モデル）にどのO*NETタスクに当たるか判定させました。この判定は、人間の専門家による分類と突き合わせて精度を確かめています。1つのタスクに5問以上対応していれば「カバーされている」と数えました。
結果、カバーされたタスクは924件で、全体の約5%にとどまりました。1つでもカバーされたタスクを持つ職種は208で、22の職業群のうち6つは1職種もカバーされていません。職業群ごとの差も大きく、コンピューター・数学系は36職種中29がカバーされていました。対して医療の専門職は89職種中12、教育・図書館系は62職種中9です。
偏りには3つの傾向が見えます。まず、AIの影響を受けやすいとされるタスクは、そうでないタスクより約6倍カバーされやすくなっていました。次に、賃金総額の大きい職業ほど手厚く測られています。さらに、O*NET上で重要度が高いタスクは、低いタスクより6〜10倍カバーされやすい結果でした。同じ法律分野でも、弁護士の業務は厚く測られる一方、法律秘書や裁判所書記官はほぼ空白です。
ベンチマークの点数を職業の実態に合わせて重みづけし直す試みも行いました。投資銀行の業務では、Claude Opus 5.5が単純平均73.3%、重みづけ後70.2%でした。点数自体は大きく変わりませんでしたが、重みづけに使える問題がそろったタスクは対象4職種でも3分の1未満でした。
これからどうなるか
Mercorは、今回の結果を「暫定」と位置づけています。29のベンチマークは網羅的ではありません。分野ごとに採用数の上限を設けたため、ソフトウェア分野のカバー率はむしろ低めに出ている可能性もあります。人がAIを使って仕事を速くする「補助」の効果を測れていない点や、体を使う仕事のベンチマークづくりが難しい点も、課題として挙げました。
今後は、重要度が高く、AIの影響を受けやすく、賃金総額も大きいタスクから優先してベンチマークを増やすべきだと提案しています。外部との共同作業を呼びかけ、地図を継続して更新する方針です。
開発者にとっての示唆は明快です。公開ベンチマークの点数は、コーディングや金融分析のような「測られている領域」では参考になります。しかし、自社の業務がその外側にあるなら、点数をそのまま当てにはできません。社内の実データで小さな評価セットを作り、モデル選定や回帰テストに組み込む手間が、これまで以上に効いてくるでしょう。
まとめ
Mercorの地図は、AIベンチマークが米国の仕事の約5%のタスクしか測れていない実態を示しました。測定はソフトウェアや金融、重要度の高い業務に偏っています。モデルの「実力」を語るときは、どの仕事を測った数字なのかを確かめる習慣が欠かせません。
参考リンク
アイキャッチ画像: Photo by Avel Chuklanov on Unsplash
