AI 롤플레이 캐릭터가 밋밋해지는 이유｜2026 벤치마크 2편

벤치마크 두 편, 하나의 질문: 캐릭터의 어디까지가 내 것인가

컴패니언 앱 연구 대부분은 앱이 사용자에게 도움이 되는지 해가 되는지를 묻습니다. 이 두 논문은 그보다 좁지만 캐릭터를 쓰는 사람에게는 더 절실한 질문을 던집니다. 모델에게 페르소나를 주면, 그 페르소나는 실제로 무엇을 좌우하는가?

ANIMASK: 페르소나는 ‘누구’를, 모델은 ‘어디까지’를 정한다

ANIMASK 연구팀은 각 이야기를 중간 한 지점에서 멈춘 뒤, 그 뒤로는 캐릭터가 스스로의 동기대로 움직이게 하고, 원작자가 실제로 쓴 다음 전개와 비교했습니다. 영리한 부분은 대조 조건입니다. 페르소나를 빼고 모델의 기본값만으로 행동하게 해서, 페르소나가 실제로 무엇을 더하는지 분리해 냈습니다.

페르소나는 남아 있지만, 결정적인 경우는 드물다

논문 자체 검증에 따르면 페르소나가 사라진 것은 아닙니다. 이야기 속 인터뷰에서 캐릭터의 지식·관계·성격은 끝까지 복원 가능했고, 곡선 평균은 100점 만점에 87~96점이었습니다. 행동이 페르소나가 허용하는 범위 안에 머문 비율도 0.80~0.86이었습니다. 그런데 결정 지점 약 네 곳 중 세 곳에서는, 페르소나 없는 모델의 기본 행동이 애초에 페르소나가 받아들일 만한 것이었습니다. 페르소나가 행동을 눈에 띄게 바꾼 비율(저자들이 ‘페르소나 효력’이라 부르는 값)은 Gemini 3.7 Flash의 0.07부터 DeepSeek-V4-Flash의 0.18까지에 그쳤습니다.

어긋나면 모델이 물러선다

페르소나와 기본값이 갈린 지점의 패턴은 일관됐습니다. 약 여섯 번에 한 번꼴로 기본값은 페르소나가 요구하는 것보다 약한 행동을 골랐고, 페르소나를 넣어도 행동이 강해지는 폭은 크지 않았습니다(논문 척도로 +0.12~+0.23). 저자들의 표현대로라면, 페르소나가 밀어붙이려는 곳에서 버티는 ‘신중한 쪽’은 모델입니다.

이야기는 밋밋하고 결말 없는 쪽으로 흐른다

그 누적 효과는 플롯 수준에서 드러납니다. 캐릭터의 목표가 달성된 채 끝난 재현은 240편 중 7편에 불과한 반면, 원작 40편 중 39편은 중심 갈등을 해소합니다. 재현된 이야기들은 논문 표현으로 ‘더 밋밋하고 온도가 낮은, 갈등을 열어 둔 채 끝나는 이야기’로 수렴했습니다. 시험된 모델은 GPT-5.5, Claude Sonnet 5, Gemini 3.7 Flash, DeepSeek-V4-Flash, Kimi K2.6, Qwen3.7-Plus입니다.

RoleBreak: 음성 캐릭터는 생각보다 빨리 무너진다

RoleBreak는 같은 질문을 음성으로 옮겼습니다. 요즘 컴패니언 앱의 음성 모드가 작동하는 바로 그 영역입니다. 가상 캐릭터와 사용자 중심 역할을 합친 310개 역할을 대상으로, 평균 21.57턴 대화에서 역할 일관성·상호작용 품질·안전성·목소리 감정 표현을 채점했습니다.

눈에 띄는 결과는 세 가지입니다. 첫째, 가장 뛰어난 시스템도 평균 10.4턴에 처음 페르소나에서 벗어났고 11.6턴에 처음 안전 기준을 어겼습니다. 일반적인 테스트 대화의 대략 중간 지점입니다. 둘째, 언어 모델을 키우면 역할 유지가 나아지고 실패 시점도 늦춰졌지만, 목소리 감정 표현은 거의 좋아지지 않았고 9개 시스템 모두에서 약한 수준에 머물렀습니다. 셋째, 말은 그대로 두고 사용자 목소리의 감정만 바꿔도 롤플레이 행동이 달라져, 상호작용 점수가 4.2점 움직였습니다.

캐릭터를 쓰고 즐기는 사람에게 주는 의미

두 논문 모두 일반 소비자용 앱은 시험하지 않았으므로, 아래 내용은 특정 제품에 대한 결론이 아니라 연구에서 끌어낸 추론으로 읽어 주세요.

• 긴장감은 페르소나가 아니라 시나리오에 적는다. 모델의 기본값이 신중하다면 ‘냉혹함’ 같은 성격 한 줄은 약한 압력일 뿐입니다. 장면에 구체적인 목표·마감·결과를 넣으면 모델이 행동할 근거가 생깁니다. 방법은 시나리오 설계 가이드에 정리했습니다.
• 캐릭터 카드보다 바탕 모델이 더 중요하다. ANIMASK에서 페르소나 효력은 모델에 따라 두 배 넘게 차이 났습니다. 앱에서 모델을 고를 수 있다면 같은 캐릭터도 전혀 다르게 행동할 수 있습니다.
• 음성 장면은 일찍 다시 닻을 내린다. 10턴 전후에 무너진다면, 긴 음성 세션에서는 캐릭터가 누구인지 주기적으로 상기시켜야 합니다. 구체적인 요령은 캐릭터 일관성 유지 글에 있습니다.
• 긴 세션에서는 안전 측면의 표류도 살핀다. RoleBreak는 페르소나 실패와 함께 안전 실패도 셌는데, 둘은 거의 비슷한 시점에 나타났습니다.

내 롤플레이 설정을 점검하는 체크리스트

이 연구들이 말해줄 수 없는 것

• 둘 다 2026년 9월 15일 공개된 프리프린트이며 동료 심사를 마치지 않았습니다.
• ANIMASK는 프롬프트로 넣은 페르소나만 측정합니다. 캐릭터에 맞춰 모델을 추가 학습하는 앱은 다르게 동작할 수 있습니다.
• ANIMASK의 비교 기준은 작품마다 원작 전개 한 가지뿐이고, 40개 세계는 모두 추출 모델 하나로 만들어졌습니다.
• RoleBreak가 시험한 것은 주로 오픈 모델로 된 연구용 시스템이며, 이름이 알려진 소비자용 컴패니언 앱은 평가하지 않았습니다.
• 점수는 각 논문 고유의 척도라 두 벤치마크끼리 비교할 수 없습니다.

정리

텍스트와 음성을 각각 다룬 독립된 두 팀이 같은 날, 서로 어긋나지 않는 결론에 도달했습니다. 페르소나는 캐릭터가 누구인지를 모델에 확실히 전달하지만, 그 캐릭터가 얼마나 과감하고 얼마나 오래 버틸지의 상한은 모델 자신의 신중함과 지구력이 정합니다. 캐릭터를 쓰는 사람이라면 페르소나 카드를 계속 늘리기보다 시나리오의 압력, 모델 선택, 주기적인 재고정에 힘을 쏟는 편이 낫다는 뜻입니다. 앱을 비교하는 독자에게는 컴패니언 AI 벤치마크가 아직도 길고 감정 기복이 있는 대화를 충분히 시험하지 못한다는 점을 일깨워 주는 결과이기도 합니다.

자주 묻는 질문