LLM（Large Language Model、大規模言語モデル）は強化学習で人が用意したデータや、コード実行結果のような明確なフィードバックを頼りに賢くなってきました。しかし、その環境の外にある課題には手が回りにくいという限界があります。研究者らが発表したSkill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skillsという論文は、LLMが自分で課題を作り、自分で解き、スキルを蓄積しながら成長する自己対戦型の学習手法を提案しています。人手によるタスク設計への依存を減らせる可能性がある取り組みです。
背景と文脈
LLMを賢くする方法は大きく二つに分かれます。ひとつは、コード実行やゲームのスコアのように正誤がはっきり判定できる環境で学習させる方法です。フィードバックは正確ですが、扱える課題の幅がその環境の中に閉じてしまいます。もうひとつは、モデル自身に課題を作らせて学習の幅を広げるオープンエンドな自己生成です。こちらは扱えるタスクの範囲は広がる一方、生成した課題や答えが本当に正しいのかを検証する仕組みが弱く、学習が不安定になりがちでした。
この二つは長らくトレードオフの関係にありました。狭くても正確な学習か、広くても不確かな学習か、という選択です。近年はモデル自身に問題文を作らせ、モデル自身に答えさせる自己対戦的な学習も試みられてきましたが、生成した課題の難易度がばらついたり、答えの正誤を客観的に判断しづらかったりする弱点が指摘されていました。Skill Self-Playは、この間を埋める「ちょうどいい足場」として「スキル」という単位に着目しました。特定のタスクそのものではなく、タスクの背後にある再利用可能な能力の単位を軸に据えることで、検証可能性を保ちながら学習範囲を広げられると考えたわけです。
技術/ビジネス面
Skill Self-Playは3つの役割が連携する強化学習のループで動きます。まず「proposer」が、蓄積されたスキルライブラリから動的にスキルを選び、それをもとに難易度の高い課題を作ります。次に「solver」がその課題に挑戦し、自分の能力の限界を押し広げようと試みます。最後に「skill controller」が、実行結果のフィードバックを集めてスキルライブラリを更新し、新しいスキルを育てていきます。
この3者が一体となって回り続けることで、モデルは自分の弱点を突く課題を自分で作り、それを解く経験を積み重ねられます。スキルライブラリは固定されたものではなく、実行結果を反映しながら少しずつ育っていくため、学習が進むほど課題の難易度もモデルの実力に合わせて調整されていきます。
ツール利用や推論系のベンチマークで検証した結果、もともと性能の高いモデルではさらに性能の天井を押し上げ、逆に最初は他のタスクとの相性が悪く精度の低かったモデルには、大きな改善をもたらしたと報告されています。人間が課題セットをひとつひとつ作り込まなくても、モデル自身が自分に合った難易度の課題を出し続けてくれる点が、この手法の実務的な意味です。既存の強化学習では、環境設計者が想定していなかった弱点はそもそも学習対象になりませんが、スキル単位で自己生成する仕組みなら、モデルが苦手とする領域そのものが自然と課題として浮かび上がってくることになります。
これからどうなるか
この手法が実用段階に進めば、LLMを特定用途向けに調整する際の課題設計やアノテーションのコストを下げられる可能性があります。たとえば社内ツールの操作手順や独自APIの使い方など、汎用ベンチマークには存在しないドメインでも、モデル自身に課題を生成させながら自己改善させるループを組み込める余地が出てきます。既存のRAG（Retrieval-Augmented Generation、検索拡張生成）パイプラインや自社エージェントの評価データ作りに追われている開発者にとっては、データ作成の手間を減らす選択肢のひとつになりそうです。
一方で、スキルライブラリの初期設計や、proposerが生成する課題の質に成果が左右される構造は残ります。粗悪な初期スキルセットから始めれば、モデルは的外れな課題を延々と解き続けることにもなりかねません。まだ研究段階の手法であり、実際のプロダクト開発に組み込むにはさらなる検証が必要です。それでも、人手によるデータ作成のボトルネックを緩和する方向性として、今後同様のアプローチを採る研究が増えていく可能性は高いでしょう。
まとめ
Skill Self-Playは、環境依存の正確な学習とオープンエンドな自己生成学習の間を「スキル」という単位でつなぐ試みです。proposer・solver・skill controllerの3者が回すループにより、モデルは自分で課題を作りながら弱点を克服していきます。人手に頼らないLLMの自己成長という方向性を示す一例といえるでしょう。
参考リンク
アイキャッチ画像: Photo by Google DeepMind on Unsplash
