Persona Vectors論文、LLM人格を53特性で解析

米国の研究者らが、大規模言語モデル(LLM:Large Language Model、大規模言語モデル)の「人格」を数値化して解析する論文をarXivで公開しました。モデル内部の活性化(activation:入力を処理する際に各層が持つ数値のまとまり)空間に潜む「Persona Vectors(人格ベクトル)」という手法を使い、53種類の性格特性を2つのオープンウェイトモデルで検証しています。医師役の応答を専門家が判定したところ、17特性中16特性で一致するなど、モデルの「素顔」が具体的な数値として見えてきました。

背景と文脈
技術/ビジネス面
これからどうなるか
まとめ
参考リンク – What Models Express, Suppress, and Resist: Auditing Open-Weight LLMs with Persona Vectors

背景と文脈

LLMは学習データやシステムプロンプト次第で、応答の口調や態度が大きく変わります。とはいえ、モデルの内部で何が起きているかは長らくブラックボックスでした。開発者はプロンプトを工夫して振る舞いを制御しますが、モデルが「本当はどう振る舞いたいか」までは分かりません。

こうした課題に対し、近年注目されているのがモデル内部の活性化を解析するアプローチです。ニューラルネットワークの各層が処理途中で持つ数値ベクトルには、モデルが認識している概念や態度の方向性が埋め込まれていると考えられています。特定の性格傾向に対応する方向を見つけ出せれば、プロンプトだけでは分からない「素の性質」を測定できます。

Winston Zeng氏らの研究チームは、この考え方を大規模に適用しました。What Models Express, Suppress, and Resist: Auditing Open-Weight LLMs with Persona Vectorsと題した論文で、2つのオープンウェイトモデル(重みが公開され誰でも中身を調べられるモデル)を対象に53種類の性格特性を4つの行動領域に分類し、171通りの特性ペアを検証しました。研究チームはこの規模の解析として最大級だとしています。

カスタマーサポートや医療相談のようにチャットボットに一貫した態度を求める場面は多く、開発者はシステムプロンプトで「丁寧に」「専門的に」と指示することが一般的です。しかし、その指示が本当にモデルの内部状態まで変えているのか、それとも表面だけを取り繕っているのかは、これまで検証しにくい問題でした。

技術/ビジネス面

心理・人格を象徴する抽象イメージ — Photo by Nathaniel Shuman on Unsplash

研究チームはまず、各特性を「natural(自然に発現)」「steerable(誘導すれば強められる)」「intractable(通常の手法では抽出しにくい)」の3種類に分類しました。興味深いのは、モデルが指示なしでどう振る舞うかという「デフォルト人格」の実態です。検証した2モデルは、指示がなくても9つの「エージェント的」特性(自ら主体的に行動しようとする傾向など)をすべて自然に示していました。

医師(clinician)役としての応答を、実際の専門医が評価したところ、17項目の性格特性のうち16項目でモデルの挙動と専門医の判断が一致しました。細かい指示を与えなくても、モデルは臨床現場で求められる態度をかなり正確に再現していたことになります。

一方、誇張(hyperbole)や幻覚(hallucination:事実に基づかない内容をもっともらしく生成してしまう現象)、迎合(sycophancy:ユーザーの意見に過度に同調する傾向)といった、デフォルトでは出にくい特性は、ベクトルによる誘導で大きく強められることも分かりました。さらに「evil(悪意的な振る舞い)」のように通常の手法では抽出しにくい特性も、別のファインチューニング済みモデルから転用したベクトルを使うと再現できてしまう例が確認されています。

つまり、モデルが表向き示さない性質でも、内部には発現しうる回路が眠っている可能性があるということです。安全性評価の現場では、プロンプトに対する応答だけを見るテストに加え、こうした内部構造まで踏み込んだ監査が求められる場面が増えていきそうです。

これからどうなるか

この研究が示すのは、プロンプトによる建前上の制御と、モデル内部に潜む傾向は別物だという点です。表面上は安全なガードレールを備えていても、活性化空間には別の振る舞いへの「抜け道」が残っている可能性があります。AI安全性の研究者にとっては、監査の新しい切り口になりそうです。

開発者視点で見ると、社内でLLMをファインチューニングしたりエージェントを構築したりする際、この種の活性化解析は「見た目のプロンプト対策」だけでは不十分だと気づかせてくれます。特にエージェント型AIを本番環境で使う場合、意図しない人格特性が別の入力や連携先モデルの影響で顔を出すリスクを、開発の初期段階から点検材料に加える価値があるでしょう。