CodexがPINNなど論文4本を12回自動再現、158項目に一致

米パデュー大学のAtharva Hans氏とIlias Bilionis氏が、論文Coding-agents can replicate scientific machine learning papersをarXivで公開しました。OpenAIのコーディングエージェント(コードを自律的に書き実行するAIツール)「Codex」が、物理法則を組み込んだ機械学習の論文を人の手をほとんど借りずに再現できることを示す内容です。物理情報ニューラルネットワーク(PINN)などの論文4本に対して合計12回の実験を行い、検証対象とした158項目すべてで論文の主張と一致する結果を得たといいます。AIエージェントが科学論文の検証作業を担える可能性を、具体的な数字で示した格好です。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク

背景と文脈

機械学習の論文には「相対誤差が5%未満」のような数値の主張が数多く含まれますが、著者本人以外がそれを再現するのは簡単ではありません。コードが公開されていない、実行環境やライブラリのバージョンが違う、ハイパーパラメータの記載が曖昧といった理由から、再現性の低さは以前から研究コミュニティで課題とされてきました。査読でも実際にコードを動かして数値を確認する作業までは行われないことが多く、論文に書かれた主張がそのまま信頼されてしまう状況が続いています。近年はClaude CodeやCodexのようなコーディングエージェントが登場し、論文のPDFを読み込んでコードを書き、実験まで自律的に実行できるようになりました。研究の再現作業を人手からAIに置き換えられる期待が高まっています。ただしエージェントに単に「この論文を再現して」と指示するだけでは、本当に論文の主張を満たす結果を出したのか、都合よく成功したと自己申告しているだけなのかを外部から見分けられません。実行途中の進捗が記録として残らず、何を確認できれば再現完了とみなせるかという基準も定義されていないため、成果を客観的に評価する仕組みがこれまで不足していました。今回の論文は、コーディングエージェントに再現作業を任せきりにするのではなく、この検証プロセス自体を仕組みとして自動化しようとする試みといえます。研究の信頼性を人手のレビューだけに頼らず担保する新しい方法として位置づけられます。

技術/ビジネス面

物理シミュレーションのコードのイメージ — Photo by Bozhin Karaivanov on Unsplash

研究チームは「Paper-replication」と呼ぶ手順を、Codex上で使える機能(スキル)として実装しました。まず論文中の数値的な主張を一つずつ「検証対象」として切り出し、それぞれについて実行結果・証拠となるコードや出力・論文本文との対応関係・判定ルールをまとめた「証拠一式」を記録させます。すべての検証対象が判定「一致」に達し、未処理の対象が残っておらず、最終報告書が存在し、記載内容や証拠の出どころを確認する3種類のチェックを通過して初めて作業完了と判定される仕組みです。エージェント自身の「完了しました」という発言ではなく、記録された証拠とチェック機構が完了を判定する点がポイントです。実験ではOpenAIのGPT-5.4を推論設定「Extra High(計算量を多く割り当てる高精度モード)」で動かすCodexを使いました。対象は物理情報ニューラルネットワーク(PINN、物理法則を制約として学習に組み込む手法)の論文2本です。加えて物理情報場理論(PIFT、物理法則をベイズ的な枠組みで扱う手法)の論文1本、スパース同定(SINDy、観測データから支配方程式を自動的に見つけ出す手法)の論文1本の計4本を対象としました。それぞれに各3回ずつ、合計12回の再現実験を実施しています。結果はすべてのワークスペースが完了条件を満たし、158件の検証対象が漏れなく「一致」と判定されました。所要時間の中央値は論文ごとに1.9時間から6.9時間と幅があり、最短1.2時間から最長13.0時間まで実行ごとのばらつきも見られています。

これからどうなるか

今回の結果は、再現に成功したかどうかをエージェント自身の申告に頼らず、証拠と機械的なチェックで判定できることを示した点に意味があります。対象は物理を扱う4本の論文と1つのモデル設定に限られています。著者自身も「結論を出すには規模が小さい」と述べていて、他分野の論文や別のコーディングエージェントでも同じ結果になるかは今後の検証課題です。開発者にとっても示唆は具体的です。自分のプロジェクトで社内資料や過去の実験ログを、AIエージェントに再現・検証させたい場面は今後増えていくはずです。そのとき成果物を「対象ごとの証拠と一致判定」という形で記録させれば、エージェントの自己申告に頼らず自動テストのような感覚で妥当性を確認できます。研究の再現に限らず、社内の実験パイプラインやデータ集計の正しさを自動チェックする仕組みにも応用できそうです。エージェントに任せる作業が増えるほど、成果を鵜呑みにせず証拠で確かめる仕組みの重要性は増していくと考えられます。