LLM（大規模言語モデル）を複数タスクに対応させる際、学習方法によって性能の挙動が大きく変わることを示す論文が発表されました。Kejian Zhu氏らの研究チームは、SFT（教師あり微調整：正解データをまねて学習させる手法）ではタスクを追加するほど既存タスクの性能が落ちる「タスク衝突」が起きる一方、RL（強化学習：試行錯誤と報酬をもとに学習する手法）では複数タスクが安定して共存できることを理論と実験の両面から明らかにしました。マルチタスク対応モデルを開発する現場に示唆を与える内容です。
背景と文脈
複数の業務やドメインに対応する汎用LLMを作る際、開発者は往々にして複数タスクのデータを混ぜて追加学習を行います。しかしタスクを増やすたびに、既に学習済みだったタスクの精度が下がる現象が経験的に知られてきました。いわゆる破滅的忘却に近い問題で、SFTベースのファインチューニングを繰り返す現場では長年の悩みの種でした。タスクの順序を工夫したり、データの混合比率を細かく調整したりする対処療法は数多く報告されてきましたが、根本の原因を数式で説明した研究はこれまで少なかったのが実情です。一方、ChatGPTの登場以降、RLHF（Reinforcement Learning from Human Feedback：人間の評価を報酬として使う強化学習）やDPO（Direct Preference Optimization：人間の選好データを直接使ってモデルを最適化する手法）といったRL系の手法が急速に普及しました。現場の感覚として「RLの方がマルチタスクに強い」と語られる場面は増えていましたが、なぜそうなるのか理論的な説明はこれまで十分になされていませんでした。今回の論文SFT Conflicts, RL Coexistsは、この違いをパラメータ更新の数式レベルまで掘り下げて説明した点に価値があります。経験則として語られてきた内容に、著者らは理論的な裏付けを初めて与えたと言えます。マルチタスク学習の設計を見直す上で、開発者が根拠として引用できる材料が増えたことになります。
技術/ビジネス面
論文が示す核心は、パラメータ更新時の干渉の大きさを決める要因の違いです。SFTでは各タスクの勾配（パラメータをどちらにどれだけ動かすかを示す方向と大きさ）がそのまま更新に反映されるため、干渉の度合いは勾配の絶対的な大きさに比例して大きくなります。あるタスクの勾配が強く出るほど、他タスクのために調整された重みを大きく書き換えてしまい、結果として性能を押し下げてしまいます。タスクを追加すればするほど、この干渉は積み重なっていき、後から学習したタスクほど既存タスクを壊しやすくなります。複数段階にわたる学習ほど、この劣化は顕著に表れるといいます。一方RLでは、報酬をそのまま使わずアドバンテージ正規化（報酬のばらつきをそろえる処理）を経てから勾配を計算します。この処理によって勾配の分散に上限がかかり、タスクごとの最適化方向がほぼ直交（お互いに干渉しにくい向き）になることを著者らは理論的に導きました。直交に近い方向であれば、あるタスクの学習が他タスクの重みを大きく壊すことはなく、複数タスクが同じモデルの中で共存できます。この分析結果を踏まえ、研究チームは複数タスクの学習を分離・並列化する新パラダイム「Parallel-RL」を提案し、効率と柔軟性を両立させる設計を示しています。理論的な導出と実験結果の両方で、SFTとRLの挙動差を裏付けている点が本論文の特徴であり、単なる経験則にとどまらない説明力を持っています。
これからどうなるか
この研究は、複数タスク・複数用途に対応するモデルを自社データでファインチューニングする開発者にとって重要な理論的根拠になります。タスクを増やすたびに既存タスクの精度が落ちるという経験をした開発者は少なくないはずですが、その原因がSFT特有の勾配干渉にあると分かれば、RLHFやDPOといったRLベースの手法への切り替えを検討する材料になります。実装が公開されているわけではありませんが、Parallel-RLのような手法が実装として広まれば、マルチタスクLoRA（Low-Rank Adaptation：モデル全体を再学習せず一部の小さな行列だけ調整する軽量な手法）やアダプタ運用のコスト計算そのものが変わる可能性があります。特に、一つのモデルで検索・要約・分類など複数の業務を回している開発チームにとっては、学習パイプラインの設計方針そのものを見直すきっかけになりそうです。今後は、この理論がどの規模のモデルやどんなタスクの組み合わせまで成り立つのか、追試による検証が焦点になりそうです。
まとめ
SFTはマルチタスク学習でタスク衝突を起こしやすく、RLは勾配がほぼ直交するため複数タスクが安定して共存できると、論文SFT Conflicts, RL Coexistsが理論と実験の両面から示しました。研究チームは新パラダイムParallel-RLも提案しており、複数タスクに対応するモデルを設計する開発者にとって注目すべき指針となります。
参考リンク
アイキャッチ画像: Photo by Google DeepMind on Unsplash
