AIエージェントに長期記憶を持たせる仕組みが急速に広がっています。ところが土台となるモデルを新しいバージョンに切り替えた瞬間、それまで蓄積した記憶はどれだけ生き残るのでしょうか。Ankit Goyal氏とJaideep Ray氏は、記憶の保存方式ごとに移行後の精度がどう変わるかを検証したDoes Your Agent’s Memory Survive a Model Upgrade? A Controlled Study of Memory Portabilityという論文を発表しました。方式によっては精度が13ポイント以上落ち込む一方、ほぼ無傷で移行できる方式もあることが分かりました。
背景と文脈
AIエージェントは、会話の履歴やユーザーの好み、過去に解決したタスクの手順などを「記憶」として蓄え、次の対話に生かす設計が主流になりつつあります。記憶を持たせる方法は主に4通りあります。長い文章をそのまま読み込ませる方式、LLM（Large Language Model、大規模言語モデル）が答える前に外部データベースから関連情報を探してくるRAG（Retrieval-Augmented Generation、検索拡張生成）、要点を自然言語のメモとして書き残す方式、そして決まった形式で事実関係を整理する知識グラフ方式です。
開発者の多くは、モデルを新しいバージョンに入れ替えれば性能は上がるはずだと考えがちです。ですが記憶の仕組み自体がそのモデルのクセに最適化されていた場合、土台を変えた途端に記憶が正しく引き出せなくなるおそれがあります。Anthropic や OpenAI が数カ月おきにモデルを更新する現状を踏まえると、これは実運用で無視できない問題です。プロダクトを長く運用するほど記憶データは積み上がり、あとから作り直す手間も膨らみます。今回の研究は、この移行リスクを初めて体系的に測定した点に意味があります。
技術/ビジネス面
研究チームは2つの小型オープンウェイトモデルを使い、48件の合成テストケースで4方式を比較しました。結果、決まった形式で情報を保存する知識グラフ方式は、モデルを入れ替えても精度の変化がわずか0.0004ポイント（±0.0020）にとどまり、事実上無傷でした。一方、自然言語のメモ方式は移行の方向によって精度が9.91ポイント上がることもあれば、13.28ポイント下がることもあり、モデル依存度の高さが浮き彫りになりました。
RAGも一様ではありませんでした。エンベディング（embedding：文章の意味を数値の並びに変換し、意味の近さを計算できるようにする技術)の一部だけを新モデル用に作り直した場合、精度の回復はわずか4.96ポイントにとどまり、全件を再エンベディングした場合の11.90ポイントに遠く及びませんでした。原因を分析すると、メモ方式の精度低下の80%はメモを書く時点での情報の取りこぼしが、RAGの精度低下の81%は検索の失敗がそれぞれ主因でした。メモだけを後から修復する対処では、48件中どのケースでも目標とする90%の性能回復に届かず、元の会話ログなど生データを保持していたケースに限り、48件中34件で回復に成功しています。
これからどうなるか
この結果が示すのは、記憶方式の選び方ひとつでモデル更新時の手間とリスクが大きく変わるという事実です。エージェントに長期運用させるプロダクトを作る開発者にとっては、モデルのバージョンアップを前提に、あらかじめ移行方向ごとの精度検証をパイプラインに組み込む必要が出てきます。特にメモやRAGを使う実装では、元のログや文書を捨てずに残しておくことが、将来の移行コストを大きく左右しそうです。テスト運用の段階で「旧モデルの記憶を新モデルに引き継いだらどう崩れるか」を毎回計測する習慣が、地味ながら効いてきます。
知識グラフ方式は移行に強い一方、あらゆる情報を決まった形式に落とし込めるとは限りません。ユーザーの曖昧な好みや文脈依存の判断まで型に押し込むのは難しいため、実務では重要な事実は知識グラフで固め、それ以外は柔軟なメモやRAGで補うといった使い分けが現実的な落としどころになりそうです。既存のRAGパイプラインを持つチームなら、まず一部エンベディングだけでなく全件の再エンベディングにかかるコストを試算しておく価値があります。
まとめ
AIエージェントの記憶方式によって、モデル更新後の精度維持力には大きな差があることが実証されました。知識グラフ方式は高い移行耐性を示した一方、メモやRAGは方向次第で精度が大きく揺れ動きます。長期運用を見据えるなら、移行前提の検証と生データの保持がこれからの標準的な備えになりそうです。
参考リンク
アイキャッチ画像: Photo by Nathaniel Shuman on Unsplash
