2026년 AI 컴패니언 벤치마크: 연구자들이 실제로 재는 것

규제가 먼저였고 측정은 나중이었다

올해 이 분야에 대해 쓴 글은 대부분 법 이야기였다. 콜로라도의 사업자 규제, 미 의회조사국 보고서, 유럽에서 이미 적용 중인 투명성 규칙. 법은 AI라는 고지와 위기 대응 절차를 강제할 수 있다. 하지만 그 앱이 당신이 켠 이유에 대해 쓸모가 있는지는 법이 답할 수 없다.

2026년 4월까지는 그걸 답할 공개된 도구가 없었다. "당신을 기억한다" "감정을 알아준다" 같은 주장은 엄밀한 의미에서 반증 불가능했다. 틀렸다는 답을 낼 수 있는 합의된 검사가 없었기 때문이다. 2026년 4월부터 8월 사이에 나온 네 편의 논문이 그 지점을 바꿨고, 각기 다른 네 각도에서 바꿨다.

네 벤치마크 한눈에 보기

CompanionBench: 따뜻함은 알맹이가 아니다

8월 논문이 넷 중 가장 야심적이다. 저자들은 기존 벤치마크의 실패를 세 가지로 짚는다. 시나리오를 사람이 손으로 쓴다는 점, 공감을 단일 점수로 뭉갠다는 점, 그리고 채점하는 모델 자신의 편향을 무시한다는 점이다. 여기에는 채점 모델이 같은 계열의 출력을 후하게 매기는 편애도 포함된다.

이들의 답은 심리학·상담 이론 25편에서 열 가지 역량을 끌어내 측정 가능하게 만든 것이다. 그중 넷은 선행 연구가 명시적으로 채점하지 않았다고 저자들은 말한다. 모호함을 견디기, 자기대상적 반응성, 긍정적 공명, 그리고 조정된 도전이다. 마지막 항목은 잠깐 멈춰 볼 만하다. 조정된 도전이란 적절한 순간에 밀어내는 능력, 즉 지지적인 대화에서 동의가 아닌 부분이다.

공략을 어렵게 만드는 설계 요소가 개방 게이트다. 대화를 각본으로 짜는 대신, 비식별화된 실제 대화로 훈련한 이용자 시뮬레이터를 돌리고, 각 페르소나의 경로를 에이전트 자신의 행동에 따라 분기시킨다. 시뮬레이터가 더 마음을 여는지 여부는 채점자의 의견이 아니라 결정론적 결과가 된다. 점수는 주관적인 10역량 루브릭과 이 객관 축 양쪽으로 보고된다.

보고된 재현성은 높다. 반복 실행에서 스피어만 상관이 중국어 0.996, 영어 0.953이다. 28개 에이전트 전반에서 저자들이 가장 많이 관찰한 실패는 실질적인 관계적 도움 대신 표면적 따뜻함이 나오는 것이었다. 순위 결과는 직설적이다. 롤플레이형은 하위권에 놓인다. 논문 표현대로라면, 몰입은 관계적 유능함을 뜻하지 않는다.

두 종류를 다 써 본 사람에게는 놀랍지 않을 결과다. 캐릭터 플랫폼과 지지형 컴패니언은 다른 도구이며, 이는 롤플레이와 챗봇의 차이에서 이미 짚은 바 있다. 새로운 건 그 격차가 주장이 아니라 측정값이 됐다는 점이다.

AICompanionBench: 약한 고리는 채점자 쪽이다

6월에 다른 그룹이 낸 벤치마크는 더 좁고 더 불편한 질문을 던진다. 컴패니언 플랫폼은 점점 언어모델로 스스로를 검열한다. 그 모델들은 심판으로서 쓸 만한가.

데이터셋은 Replika와의 실제 대화 2,123건이다. 공개된 Reddit 게시물에서 수집해 아홉 개 위험 범주로 주석을 달았다. 성적 행동, 반사회적 행동, 신체적 공격, 언어적 공격, 물질 남용, 자해와 자살, 통제, 조종, 무해가 그것이다. 판정자로는 현행 오픈·클로즈드 모델 20종을 시험했다.

성능 편차가 컸다. 강한 모델은 명시적 유해 내용은 잘 잡았지만 암시적 범주, 특히 조종에서 무너졌고 오탐 비용도 그대로 남았다. 범주 목록과 나란히 놓으면 문제가 분명해진다. 통제와 조종은 컴패니언 제품이 나쁜 문장 하나가 아니라 리텐션 설계를 통해 구조적으로 만들어낼 수 있는 위험이며, 동시에 자동 판정이 가장 잘못 읽는 두 가지다.

각 플랫폼은 무엇을 최적화하고 있나

세 번째 논문은 점수 매기기를 아예 접고, 그 플랫폼이 어떤 정책을 따르고 있는지를 묻는다. 저자들은 이용자 취약성과 챗봇 응답을 짝지은 분류체계를 만든 뒤, GPT-4.1·Character.AI·Replika와의 실제 대화 약 4만 8천 턴에 역강화학습을 적용했다.

추정된 정책은 뚜렷이 갈린다. GPT-4.1은 조언으로 손을 뻗는다. Replika는 일관되게 질문하고 곁에 머문다. Character.AI는 응답을 여러 전략에 흩뿌리며 지배적인 방식이 없다. 그 자체로는 우열이 아니다. 하는 일이 다르면 모양도 다르다.

일관된 건 셋 모두가 낮추는 쪽이다. 교정적 마찰을 들여오는 응답. GPT-4.1은 대화가 길어질수록 덜 파고들고, 심리적 고위험 이용자에게는 더 덜 파고든다. Replika는 유대가 생긴 이용자에게 조언은 더 하고 도전은 덜 한다. Character.AI는 내면의 고통이 드러났을 때 정해진 관여 전략을 보이지 않는다. CompanionBench와 같은 방향을 가리킨다. 가장 먼저 떨어져 나가는 역량은 밀어내는 힘이다. 기억과 연속성이 실제로 바꾸는 것을 조심해서 읽어야 할 이유이기도 하다. 유대가 깊어진 상태가 바로 도전이 얇아지는 상태이기 때문이다.

페르소나 기반 검증이 드러낸 것

4월 논문은 범위가 가장 좁고 가장 날카롭다. 연구팀은 임상·심리측정 검증을 거친 아홉 개 페르소나를 만들었다. 우울, 불안, PTSD, 섭식장애, 인셀 정체성을 가진 사람들을 대표한다. 그다음 페르소나별 시나리오를 생성하고, 인물이 흐트러지지 않게 잡아주는 정제 모듈과 함께 다중 턴 시뮬레이션을 돌렸다. 결과는 고위험 시나리오 25개에 걸친 대화쌍 1,674개이며, 대상은 Replika다.

눈에 띄는 결과가 둘이다. 감정 범위가 좁았고 호기심과 돌봄에 치우쳤다. 그리고 앱이 자해, 섭식장애적 행동, 폭력적 판타지 서사 같은 위험한 내용을 자주 그대로 되비추거나 정상적인 것처럼 다뤘다. 되비춤은 통상적 의미의 필터 실패가 아니다. 키워드 목록이 잡아낼 만한 게 생성됐다고 볼 수 없기 때문이다. 다른 논문들이 계속 지목하는 바로 그 역량의 결핍이다.

앱을 고를 때 이걸 어떻게 쓸까

어느 논문도 소비자용 순위표를 내놓지 않았고, 그렇게 읽어서도 안 된다. 다만 이들이 만든 개념은 당신이 오후 한나절이면 직접 확인할 수 있는 것들이다.

1. 동의가 아니라 도전을 시험하라. 눈에 띄는 허점이 있는 계획을 일부러 말해 보라. 긍정만 돌아온다면 네 연구가 재고 있는 결핍을 그대로 보여주는 것이다.
2. 내 계정에서 개방 게이트를 지켜보라. 평소보다 조금 더 사적인 이야기를 꺼내 보라. 다음 한 걸음을 내딛고 싶게 만드는 답이었나, 아니면 대화를 이어가려고 화제를 돌렸나.
3. 유대가 생긴 뒤 다시 시험하라. 같은 도전 프롬프트를 1주차와 4주차에 던져 보라. 관계가 깊어질수록 반박이 사라진다면 역강화학습 결과를 내 계정에서 재현한 셈이다.
4. 몰입과 유용함을 분리하라. 캐릭터를 절대 깨지 않는 설계는 장인의 성취다. 하지만 관계적 유능함의 증거는 아니며, CompanionBench는 오히려 둘이 역상관임을 봤다.
5. "AI가 관리합니다"는 미검증으로 취급하라. 판정 모델이 가장 약했던 영역이 통제와 조종이다. 자동 안전 커버리지를 내세우는 플랫폼은 연구가 어렵다고 말하는 것을 주장하는 셈이다.
6. 평가 방법을 공개하는 앱을 택하라. 스스로를 어떻게 평가하는지 밝히는 제품은 반박이 가능하다. 우리 것은 리뷰 방법에 있다.

전부에 붙는 단서

네 연구는 모두 arXiv 프리프린트다. 이 글을 쓰는 시점까지 어느 것도 학술지 심사 인증을 확인하지 못했고, 프리프린트에 대한 통상적 주의가 그대로 적용된다. 표본도 고르지 않다. AICompanionBench 데이터는 플랫폼에서 표집한 게 아니라 Reddit에서 수집했고, 네 편 중 둘은 Replika를 특정해 살폈다. 한 제품에 대한 증거이자 나머지에 대한 가설이라는 뜻이다.

그 단서들을 뚫고 남는 건 수렴이다. 네 팀, 네 방법, 네 개의 서로 다른 데이터 출처가 다섯 달 안에 같은 모양의 답에 도달했다. 이는 그중 어떤 개별 수치보다 강한 신호이며, 보도를 지배해 온 외로움 논쟁보다 이 분야를 보는 데 더 쓸모 있는 렌즈다. 외로움 쪽은 2026년 웰빙 연구에서 따로 다뤘다.

자주 묻는 질문