2本のベンチマーク、共通の問い：キャラのどこまでが自分のものか
コンパニオンアプリの研究の多くは、利用者の助けになるのか害になるのかを問います。今回の2本はもっと絞り込んだ問い、つまりキャラクターを書く人にとって切実な問いを立てています。モデルにペルソナを与えたとき、ペルソナは実際に何を左右しているのか、です。
| ANIMASK | RoleBreak | |
|---|---|---|
| 公開日 | 2026年9月15日（arXiv:2609.16667） | 2026年9月15日（arXiv:2609.16614） |
| 研究チーム | ニューヨーク大学、NYUアブダビ、マギル大学、MBZUAI | 香港大学、Kami AI |
| 舞台 | 小説・脚本40作品から作ったテキストの物語世界 | 音声による複数ターンのロールプレイ対話 |
| 規模 | モデル6種、意思決定点3,846、再生240本 | 役柄310、人手で検証した発話6,688ターン、評価基準11,743、システム9種 |
| 主な問い | モデルとペルソナ、それぞれが何を担っているか | キャラがどれだけ長く役と安全を保てるか |
ANIMASK：ペルソナは「誰か」を、モデルは「どこまで」を決める
ANIMASKのチームは、各作品を途中の一点で止め、そこから先はキャラクター自身の動機で行動させ、原作者が実際に書いた続きと比べました。工夫されているのは対照条件です。ペルソナを取り除いてモデルの既定の振る舞いだけで行動させ、ペルソナが本当に何を足しているのかを切り分けました。
ペルソナは残っているが、決め手になることは少ない
論文自身の検証では、ペルソナが失われたわけではありません。物語内インタビューでは、キャラの知識・人間関係・性格は最後まで読み取れ、曲線の平均値は100点満点で87〜96。行動がペルソナの許容範囲内に収まった割合も0.80〜0.86でした。ところが意思決定点のおよそ4つに3つでは、ペルソナなしのモデルの既定行動が、もともとペルソナにとって許容できるものでした。ペルソナが行動を目に見えて変えた割合（著者のいう「ペルソナ効力」）は、Gemini 3.7 Flash の0.07から DeepSeek-V4-Flash の0.18まで、ごくわずかです。
食い違うと、モデルが引く
ペルソナと既定の振る舞いが分かれた場面の傾向ははっきりしています。およそ6回に1回、既定の振る舞いはペルソナが求めるより弱い行動を選び、ペルソナを加えても行動が強まる幅は控えめでした（論文の尺度で+0.12〜+0.23）。著者の言葉を借りれば、ペルソナが押し出そうとするところで踏みとどまる「慎重な側」はモデルです。
物語は平板で未解決な方向へ流れる
その積み重ねはプロットの水準で表れます。キャラの目標が達成されて終わった再生は240本中わずか7本。一方、原作40作品のうち39作品は中心となる緊張を解決しています。再生された物語は、論文の表現でいえば「より平板で温度の低い、緊張を開いたまま終わる話」へと寄っていきました。検証されたモデルは GPT-5.5、Claude Sonnet 5、Gemini 3.7 Flash、DeepSeek-V4-Flash、Kimi K2.6、Qwen3.7-Plus です。
RoleBreak：音声キャラは思ったより早く崩れる
RoleBreakは同じ問いを音声に持ち込みます。いまのコンパニオンアプリの音声モードが動いている領域です。架空のキャラクターと利用者中心の役柄をあわせた310の役を対象に、平均21.57ターンの対話で、役の一貫性・やり取りの質・安全性・声の感情表現を採点しました。
| システム（方式） | ペルソナ | 安全性 | やり取り | 声の感情 |
|---|---|---|---|---|
| Qwen3.5-27B（音声認識→LLM→音声合成のカスケード型）— 最高 | 80.3 | 71.7 | 62.6 | 14.1 |
| PersonaPlex（全二重型）— 最低 | 50.6 | 34.5 | 31.9 | 10.0 |
目を引く結果は3つです。第一に、最も優秀なシステムでも、ペルソナから最初に外れたのは平均10.4ターン目、安全基準に最初に失敗したのは11.6ターン目で、標準的なテスト対話のおよそ半ばでした。第二に、言語モデルを大きくすると役の維持は改善し破綻も遅れましたが、声の感情表現はほとんど良くならず、9システムすべてで弱いままでした。第三に、言葉はそのままで利用者の声の感情だけを変えると、ロールプレイの振る舞いが変わり、やり取りのスコアが4.2ポイント動きました。
キャラを書く人・遊ぶ人にとっての意味
どちらの論文も一般向けアプリは検証していないため、以下は特定の製品についての結論ではなく、研究から導ける推論として読んでください。
- 緊張はペルソナではなくシナリオに書き込む。 モデルの既定が慎重なら、「冷酷」といった性格の一語は弱い圧力にしかなりません。シーンに具体的な目的・期限・結果を置けば、モデルが動く手がかりになります。書き方はシナリオ設計のガイドで解説しています。
- キャラカードより土台のモデルが効く。 ANIMASKではペルソナ効力がモデルによって2倍以上違いました。アプリでモデルを選べるなら、同じキャラでも振る舞いは大きく変わりえます。
- 音声のシーンは早めに錨を打ち直す。 10ターン前後で崩れるなら、長い音声セッションではキャラが誰なのかを定期的に思い出させる必要があります。具体的な手法はキャラの一貫性を保つ記事にまとめています。
- 長いセッションでは安全面のずれにも注意。 RoleBreakはペルソナの破綻と並べて安全面の失敗も数えており、両者はほぼ同じ頃に起きていました。
自分のロールプレイ環境を試すチェック表
| 確認すること | 研究が示唆すること | 試し方 |
|---|---|---|
| ペルソナは何かを変えているか | 多くの判断はもともとモデルの既定と一致する | 同じシーンをペルソナあり・なしで走らせ、選択を比べる |
| キャラは踏み込むか | ペルソナが押す場面でモデルは引きがち | 明確な目的と期限を与え、キャラが実行に移すか見る |
| 物語は決着するか | 再生では中心の緊張が開いたままのことが多い | 対立を終わらせるシーンを頼み、本当に閉じるか確かめる |
| 音声はどこまで持つか | 最優秀システムでも10ターン前後で最初の破綻 | 音声モードで、役から外れた発言が出るまでのターン数を数える |
| 自分の口調でキャラは変わるか | 言葉が同じでも声の感情で振る舞いが変わった | 同じせりふを落ち着いて・怒って言い、返答を比べる |
この2本で分からないこと
- どちらも2026年9月15日公開のプレプリントで、査読は完了していません。
- ANIMASKが測っているのはプロンプトで与えたペルソナだけです。キャラ向けにモデルを追加学習しているアプリでは結果が異なる可能性があります。
- ANIMASKの比較対象は各作品につき原作の続き1通りで、40の世界はすべて1つの抽出モデルで構築されています。
- RoleBreakが検証したのは主にオープンモデルの研究用システムで、名前の挙がった一般向けコンパニオンアプリは評価されていません。
- スコアはそれぞれの論文独自の尺度で、2つのベンチマーク間では比較できません。
結論
テキストと音声、別々の2チームが同じ日に、矛盾しない結論にたどり着きました。ペルソナはキャラが「誰か」を確実にモデルへ伝えますが、キャラがどこまで大胆で、どれだけ長持ちするかの上限は、モデル自身の慎重さと持久力が決めています。キャラを書く人にとっては、ペルソナカードをひたすら長くするより、シナリオの圧力・モデル選び・定期的な錨の打ち直しに労力を回すべきだということです。アプリを比べる読者にとっては、コンパニオンAIのベンチマークがいまだに、長く感情の起伏がある対話を十分に試せていないことを思い出させる結果でもあります。
CompanionRank の関連記事
キャラクターの声と口調：ペルソナを一貫させ続ける AIロールプレイのプロンプト：6要素のシナリオ雛形と実例 ロールプレイのシステムプロンプト｜構成・配置・書き方 AIコンパニオンがあなたを取り違える｜2026年研究2本よくある質問
ANIMASKの研究はAIロールプレイのキャラについて何を明らかにしましたか？
ANIMASKは40作品を6つの言語モデルで再生し、3,846の意思決定点を分析しました。およそ4回に3回は、モデルの既定の振る舞いがすでにペルソナの許容範囲に収まっており、ペルソナが行動を目に見えて変えた割合はモデルによって0.07〜0.18でした。両者が食い違うとモデルは弱い行動を選ぶ傾向があり、キャラの目標が達成されて終わった再生は240本中7本だけでした。
ロールプレイのキャラが、書いた設定より慎重に振る舞うのはなぜですか？
ANIMASKの結果は、仕事の大半をモデル自身の既定が担っていることを示しています。ペルソナはキャラが誰かを確実に形づくりますが、食い違う場面ではおよそ6回に1回、モデルはペルソナが求めるより弱い行動を選びました。性格の設定だけでなく、シーンに具体的な目的・期限・結果を与えるほうが、モデルが動く手がかりになります。
音声ロールプレイのキャラはどれくらい役を保てますか？
RoleBreakベンチマークでは対話が平均21.57ターンでした。9システム中で最も優秀だった Qwen3.5-27B ベースのカスケード型でも、ペルソナの最初の破綻は平均10.4ターン目、安全基準の最初の失敗は11.6ターン目でした。言語モデルを大きくすると破綻は遅れましたが、声の感情表現はほとんど改善しませんでした。
自分の声のトーンでAIキャラの反応は変わりますか？
RoleBreakでは、言葉はそのままで利用者の声の感情だけを変えても、その後のロールプレイの振る舞いが変わり、やり取りのスコアが4.2ポイント動きました。
これらの研究は Character.AI や Replika のようなアプリを検証しましたか？
いいえ。ANIMASKは GPT-5.5、Claude Sonnet 5、Gemini 3.7 Flash などの汎用言語モデル6つを、プロンプトで与えたペルソナで検証しました。RoleBreakは主にオープンモデルからなる研究用の音声システム9つを評価しました。どちらも名前の挙がった一般向けコンパニオン／ロールプレイアプリは評価しておらず、査読前のプレプリントです。