AIの評価データを作るSurge AIが10月27日、税務の実務をAIエージェントにやらせて採点するベンチマークDAYJOB: Taxを公開しました。顧客の依頼と大量の書類を渡し、申告書や助言メモを作らせる50の課題で構成されています。結果は厳しく、首位のClaude Sonnet 5.5でも合格率は10.8%でした。個々の計算はできても、専門家としての判断を最後までやり通すことが難しいと分かります。
背景と文脈
ここ1年で、AIエージェント（自分で調べ、ツールを使い、複数の手順をこなすAI）が実務をどこまで任せられるかが大きな関心事になりました。コーディングでは成績が急速に伸びています。一方で、税務や会計のように、書類を読み解いて判断を積み重ねる仕事はまだ測り方が定まっていません。
税務向けの評価はこれまでもありました。114問の税務知識を問うTaxBench、申告書の計算の正確さを見るTaxCalcBench、不足情報を集めて連邦申告を仕上げるTaxLabなどです。ただ、どれも「問題が明確に与えられた状態」での正確さを測るものでした。実際の税理士は、顧客が気づいていない論点を見つけ、食い違う資料を整理し、情報が足りないと判断する必要があります。
DAYJOBは、医療と金融に続くSurge AIの「実務」評価シリーズの3作目です。単なる知識ではなく、仕事の責任をどこまで負えるかを測る点に特徴があります。
技術/ビジネス面
課題は個人・家族の税、小規模事業、パートナーシップ、不動産と投資、相続・贈与・信託、国際税務、企業取引、税務調査と紛争の8分野に分かれます。書類は全部で1,789ファイルあり、1課題あたり中央値30、最大123にのぼります。PDFが1,487件、Excelが117件、Wordが38件で、メールや画像、CSVも混ざります。手書きの領収書や、5つの州を回った作業員の日誌、ポーランドの雇用記録と暗号資産データが絡む国際案件まで含まれています。
採点はルーブリック（採点項目の一覧）方式です。計算の正しさ、根拠の示し方、重要な論点の指摘、成果物の完成度を細かく確認し、95%以上を満たした場合だけ合格とします。課題は税務の専門家が実際の業務をもとに作り、3段階の専門家レビューを通しています。
1回目の試行での合格率は、Claude Sonnet 5.5が10.8%、Claude Fable 5.1が9.6%、Claude Opus 5.5が9.2%でした。失敗例も具体的です。マンション売却の案件では、居住用財産の非課税枠が2027年8月ごろに切れる点を、Opusは5回中5回とも指摘しました。一方、GPT系のAstraは一度も気づけませんでした。逆に、別居中の夫婦の案件では、Opusが5回とも「未婚」と決めつけました。Astraは5回中4回、婚姻関係の確認が必要だと指摘しています。モデルごとに得意な判断が違うことが分かります。
これからどうなるか
Surge AIは結果を「エージェントはまだ監査に合格していない」とまとめています。税務のような専門業務を丸ごと任せる段階には遠いと見るべきでしょう。ただ、個々の手順はこなせるため、人がチェックする前提の下書き作成には十分使える水準です。
業務システムにエージェントを組み込む開発者にとっては、評価の作り方が参考になります。「正しい答えを出せたか」だけでなく、「足りない情報を確認したか」「依頼者が言っていない論点を挙げたか」を採点項目に入れると、実運用に近い評価になります。同じ課題を複数回走らせ、モデルごとの見落としの傾向を比べる手法も、そのまま社内評価に応用できるでしょう。
データセットの一部はHugging Faceで公開されており、全体の利用は問い合わせ制です。今後、他社モデルの更新でどこまで数字が伸びるかが注目点になります。
まとめ
Surge AIのDAYJOB: Taxは、実際の税務業務に近い50課題でAIエージェントを評価するベンチマークです。合格率は最高でも10.8%にとどまり、専門家としての判断の一貫性に課題が残りました。エージェントを業務に使う側は、見落としを前提にした確認の仕組みが欠かせません。
参考リンク
アイキャッチ画像: Photo by Team Nocoloco on Unsplash
