arXivに投稿された論文「A Dual-Path Architecture for Scaling Compute and Capacity in LLMs」が、大規模言語モデル（LLM：Large Language Model）のスケーリング効率を改善する新しいアーキテクチャを提案しています。各レイヤーに「深い経路」と「広い経路」を並列配置し、トークン（テキストを分割した処理単位）ごとにどちらの経路を通るかをゲーティング機構（入力に応じてどの処理経路を使うかを動的に決める仕組み）が決定します。同一の計算量（FLOP：Floating Point Operations、浮動小数点演算の回数で表す計算コストの指標）で従来モデルを上回る言語モデリング性能と下流タスク性能を示しており、トークンの種類によって経路の使い分けに系統的なパターンがあることも確認されました。
背景と文脈
LLMの設計ではTransformer（大規模言語モデルの基礎となるニューラルネットワークアーキテクチャ）が標準となっており、層を深くするか、層内のネットワーク幅（パラメータ数）を広げるかがスケーリングの主な手段です。モデルを大きくするには計算資源とパラメータの両方が増えますが、これら二つは従来ほぼ連動して増加していました。
この問題に取り組んできた一つの流れが「ループ型Transformer（Looped Transformer）」です。同じブロックを複数回繰り返すことでパラメータ数を抑えながら計算ステップを増やす手法ですが、同じ計算量では通常のTransformerよりモデルの表現容量（Capacity：多様なパターンを記憶・適用できる量）が小さくなる根本的なトレードオフがありました。言い換えれば、「計算を増やすこと」と「表現力を広げること」を同時に達成する設計が難しかったのです。
MoE（Mixture of Experts：複数の小モデルに処理を分担させ、入力ごとに必要な部分だけ動かす仕組み）もこの問題へのアプローチの一つですが、推論時の複雑さや負荷分散の難しさが課題とされています。デュアルパスアーキテクチャはMoEとは異なる角度からこの問題に挑んでいます。
技術/ビジネス面
論文が提案するデュアルパスブロックは二つの経路を各レイヤーに並列配置します。「深い経路（Deep Pathway）」はパラメータを共有しながら同一サブレイヤーをK回繰り返し適用します。「広い経路（Wide Pathway）」は大きなフィードフォワードネットワーク（Transformer内でトークンを変換する全結合層）を1回だけ適用します。各トークンはゲーティング機構によって二つの経路に独立して振り分けられます。
評価結果では、同じFLOP数で比較した際に言語モデリング（次のトークンを予測する性能）と下流タスクの両方で従来設計を上回っています。同時にパラメータ数も削減されており、計算コストと表現力のトレードオフを緩和したといえます。
興味深いのは解釈可能性の知見です。学習されたゲートには系統的なパターンが見られ、機能語（「は」「が」「the」など文法上の役割を担う単語）と内容語は広い経路を好み、句読点・記号・算術トークンは深い経路を好む傾向がありました。モデルがどのトークンにどの処理が有効かを自己学習した結果であり、内部動作の解釈を助ける発見です。
これからどうなるか
デュアルパスアーキテクチャが実際の大規模モデルに採用されるかは、今後の追試と再現実験にかかっています。論文の実験規模が大規模モデル（数百億〜数千億パラメータ）でも成立するかを確認する必要があり、産業利用への道はまだ長い段階にあります。
開発者の視点では、このアーキテクチャが直接使えるオープンソースモデルとして実装されるかが当面の注目点です。fine-tuning（ファインチューニング：学習済みモデルを特定タスク向けに追加学習すること）やRAGパイプラインに組み込む段階では、ベースモデルのアーキテクチャの違いよりも実際の推論性能と価格が選定基準になりますが、このアーキテクチャが採用されたモデルが登場した際には同じFLOPでの性能向上という恩恵が推論コストの低下に直結します。
解釈可能性の知見は実装上のヒントにもなります。モデルが「算術トークンに深い経路が有効」と学習するなら、数値計算に特化したモデルのファインチューニングでは深い経路への学習を強化する設計が効果的かもしれません。アーキテクチャレベルの解釈知見が具体的な応用設計に結びつく事例として注目されます。
まとめ
デュアルパスアーキテクチャ論文は、LLMのスケーリングで長年のトレードオフだった「計算量と表現容量の両立」に新たな解を提示しました。同一FLOPでの性能改善と解釈可能なゲーティングパターンの発見は、今後のモデル設計研究に影響を与える可能性があります。
参考リンク
アイキャッチ画像: Photo by Solen Feyissa on Unsplash
