研究・論文

新ベンチマークSWE Refactor Benchは、コーディングAIのリポジトリ全体改修を検証しました。520回の試行中、全検証通過はわずか28回で、最高性能のClaude Opus 5でも47点にとどまっています。

新ベンチマークAgenticRAG-FPは、多段階検索の誤り特定精度が後段になるほど低下すると実証しました。Claude Haiku 4.5を使った検証では1段階目は91%、2段階目以降は0%まで落ち込んでいます。

Cheng Xu氏らの研究チームが、LLMエージェントの自己改善報告の多くを測定方法の欠陥による見かけの改善だと実証しました。未訓練モデルにも0.280の改善率が出る指標もあり、有効性が確認されたのは外部蒸留のみでした。

研究チームは商用LLM8製品を対象に、通常の会話だけで機微情報が漏洩することを実証しました。4桁の秘密情報は82%の完全一致率で復元でき、実運用エージェントからは社会保障番号全体の抽出にも成功しています。

海外の研究チームが、LLMに応答前の思考量を自分で選ばせる新手法を発表しました。数学ベンチマークMATH500で精度を保ちながら応答トークンを41%削減し、GSM8Kでは76%減も達成しています。

4ビット量子化したLLMは、文脈中で何度も上書きされた値の想起に弱くなるとの論文が公開されました。Qwen2.5-7Bでは正答率が81.0%から68.3%へ低下し、一般ベンチマークでは見えにくい劣化だと指摘しています。

カリフォルニア大学サンタクルーズ校などの研究チームが、LLMがやり取りを重ねるほど賢くなるテスト時学習手法「Chain-of-Experience」を提案。8モデル検証で精度5.6%向上、APIコストは19%下がりました。

研究チームが提案したR³-Benchは、数学や競技プログラミングなど6問セットに共有予算を配分させる新方式のLLM評価手法です。72件中71件で理論上の実力を発揮できず、均等配分にすら劣る例が6モデル中4例確認されました。

法務RAG8システムを比較した論文で、ハルシネーション率は最良1割未満から最悪5割弱まで判明。誤った前提の質問への弱さも共通課題として示されました。

Google DeepMindがAI気象モデルWeatherNextを発表し、台風進路の高精度予測を2日先から3日先に延ばしました。2025年のハリケーン・メリッサ対応でも米国立ハリケーンセンターが実際に活用しています。