AI SWE-Flux登場、AIのコード実行理解37%どまり
新ベンチマークSWE-Fluxが、リポジトリ全体でのAIのコード実行推論力を計測しました。最高性能モデルでも正答率は37%にとどまり、関数をまたぐデータフローの理解に大きな課題が残ることが判明しました。
AI
AI
AI
AI
AI
AI
AI
AI
AI
AI