DeFiFlowBenchは、自然言語の指示から暗号資産（暗号通貨）の自動売買ワークフローを生成するLLM（Large Language Model、大規模言語モデル）の安全性を検証する新しいベンチマークです。Abhinav Rajeev Kumar氏らの研究チームがDeFiFlowBench: Benchmarking and Improving Safe Executability in Natural-Language DeFi Workflow Synthesisという論文で発表しました。「この暗号資産を買って、価格が5%動いたら売って」といった一見シンプルな指示でも、生成されたコードのうち14〜19件がガードレール（安全上限）を無視して危険な取引を実行してしまうことが判明しています。DeFi（Decentralized Finance、分散型金融：仲介者を介さずブロックチェーン上で自動実行される金融取引の仕組み）の自動化が広がる今、「動くコード」と「安全なコード」は別物だと突きつける内容です。
背景と文脈
LLMに自然言語で指示を出すだけでコードを生成させる流れは、DeFiの取引自動化にも及んでいます。トークンの売買条件やスリッページ（注文時と約定時の価格のずれ）の許容範囲を口頭のような指示で伝え、LLMにスマートコントラクト呼び出しのワークフローを組ませる使い方です。
問題は、生成されたコードが構文的に正しく、テストでもエラーなく動くように見えても、実際の市場では想定外の損失を招きかねない点にあります。研究チームはこれを検証するため、チームが作成した207件のプロンプトからなるDeFiFlowBenchを構築しました。評価指標には、ワークフローがどこまで処理経路を網羅しているかを示すグラフカバレッジ、必要な設定項目が揃っているかを示す設定完全性、そして安全条件が明示的に宣言されているかという3つを採用しています。
これまでのコード生成ベンチマークの多くは「意図通りに動くか」を測るものでした。DeFiFlowBenchは一歩進んで「意図通りに動きつつ、金銭的に安全か」を問う点が特徴です。実際の資金が動くDeFiの領域だからこそ、この視点の欠落は見過ごせません。
技術/ビジネス面
検証では、Uniswap V2方式の自動マーケットメーカー（AMM：需給に応じて価格が自動計算される取引の仕組み）を模した環境をEVM（Ethereum Virtual Machine、イーサリアムの取引を実行する仮想環境）上に構築し、75件の未見プロンプトに対して生成されたワークフローを実際に実行させました。その結果、設定ごとに14〜19件が「unsafe_executed」、つまり価格インパクト5%という上限を超えて約定してしまう事例に分類されています。原因として論文が指摘するのは、スリッページの許容範囲を「すでに価格インパクトを織り込んだ見積もり」から計算してしまうと、注文自体が引き起こす価格変動を防げないという構造的な見落としです。
これに対して著者らが提案するのが、3段階からなる対策手法「Koan-Safe」です。まず意図パーサーがプロンプトから取引対象・数量・閾値・対象チェーンといった情報だけを抽出します。次に、ルールベース・LLMベース・両者を組み合わせたハイブリッド型という3種類の生成器のいずれかがワークフローを組み立てます。最後に構造修復の工程が、欠けている安全ノードの追加、実行経路の再接続、そしてスリッページ上限や価格インパクトの監視、ブリッジ（異なるブロックチェーン間で資産を移す仕組み）の確認、注文の有効期限といった保守的な既定値の補完を行います。この3段構えにより、ハイブリッド型の安全性スコアは既存最良手法の0.33から0.67まで向上し、検証した未見プロンプトでは危険な実行がゼロになりました。
これからどうなるか
論文自身が釘を刺しているように、静的な安全性スコアが高いことや、手元の検証で失敗がゼロだったことは、一般的な安全性の保証にはなりません。閾値の設定次第では依然として抜け道が残る可能性があります。とはいえ、この研究が示す教訓はDeFi特有の話にとどまりません。LLMに金融・決済まわりの自動化コードを書かせる際、「動くコード」と「安全なコード」は別物だと考えるべきです。
自分がAIエージェントに取引・送金・APIコールなど実世界に影響する処理を任せる場面では、生成されたコードの構文チェックだけでなく、上限値や既定値といったガードレールを設計段階で明示的に組み込む必要があります。Koan-Safeの構造修復のように、LLMの出力を鵜呑みにせず、安全条件を後段で機械的に補完・検証する仕組みを持つ設計は、DeFi以外のAIエージェント開発にも応用できる考え方です。
まとめ
DeFiFlowBenchは、自然言語からDeFi取引コードを生成するLLMの安全性を定量的に検証した初のベンチマークの一つです。75件のテストで最大19件の危険な取引が確認された一方、Koan-Safeという3段階の対策で安全性スコアは0.33から0.67まで改善しました。AIエージェントに実取引を任せる際は、ガードレールの明示的な設計が欠かせません。
参考リンク
アイキャッチ画像: Photo by GuerrillaBuzz on Unsplash
