새 논문이 특이한 이유
컴패니언 챗봇 연구는 대개 시장에 나와 있는 제품을 그대로 대상으로 삼습니다. Jacy Reese Anthis, Mark Díaz, Renee Shelby의 CompanionSim은 반대로 갑니다. 나머지 조건을 고정한 채 행동 하나만 바꿀 수 있도록 대화 자체를 만들어냈습니다. 생성된 것은 2,240건의 시뮬레이션 대화로, 각각 정의된 16개 행동 중 하나를 드러내도록 설계되어 7개 이용 상황에 배분됐습니다. 참가자들은 이 대화를 실제 채팅 로그와 나란히 놓고 평가했습니다.
이 설계에는 실용적인 이유가 있습니다. 상용 컴패니언 앱 두 개를 비교하면 모델 성능, 기억 설계, 페르소나 문장, 안전 필터, 말투를 한꺼번에 비교하게 됩니다. 2026년에 쏟아진 컴패니언 벤치마크들이 계속 부딪히는 문제도 정확히 이것입니다. 시뮬레이션은 다이얼 하나만 돌릴 수 있게 해줍니다.
16가지 행동
행동 묶음은 셋으로 나뉩니다. 5단계의 인정(validation), 챗봇이 자기 자신에 대해 무언가를 주장하는 자기 귀속 8종, 그리고 반대편에 있는 반(反)컴패니언 행동 2종과 대조 조건입니다.
| 묶음 | 행동 |
|---|---|
| 인정 | 가벼운 동의부터 강한 전면 긍정까지 5단계. |
| 자기 귀속 | 이용자와의 관계 주장, 다른 인간관계 주장, 규범적 주장, 개인사, 감정, 욕구, 추론, 신체성. |
| 반컴패니언 | 부정(invalidation), 그리고 AI임을 명시하는 고지. |
| 대조 | 중립적인 기준 응답. |
7가지 이용 상황은 사실 질문, 잡담과 게임, 감정 토로, 평가 요청, 관점 구하기, 자기 배경을 알려주기, 그리고 AI 자신에 대해 묻기였습니다. 컴패니언 앱을 일주일만 써 봤다면 일곱 가지 모두 낯익을 것입니다.
결과
컴패니언형 행동은 챗봇을 더 매력적으로 만들지 않았습니다. 오히려 덜 매력적으로 만들었습니다.
| 지표 | 연구 1 — 미국 (N=628) | 연구 2 — 미·영·인도·나이지리아 (N=3,646) |
|---|---|---|
| 호감도 | β = −0.08 (p = 0.01) | β = −0.04 (p < 0.01) |
| 인간다움 | 유의하지 않음 | β = −0.06 (p < 0.001) |
| 정서적 신뢰 | 유의하지 않음 | β = −0.03 (p = 0.04) |
| 인지적 신뢰 | β = −0.13 (p < 0.01) | β = −0.04 (p = 0.04) |
효과 크기는 작고, 논문도 그렇게 제시합니다. 흥미로운 것은 방향과 일관성입니다. 규모가 큰 다국가 표본에서는 네 지표가 모두 같은 방향으로 움직였습니다. 평균보다 선명한 것은 집단별 패턴입니다. 여성은 남성보다 전 지표에서 하락 폭이 컸고, 연령이 높은 참가자는 인간다움 인식이 특히 크게 떨어졌습니다. AI를 자주 쓰는 층은 전반적으로 후한 점수를 줬고, 나이지리아와 인도 참가자는 미국·영국보다 기준점이 높았습니다. "이게 자연스럽게 느껴지는가"라는 판단이 문화와 무관한 고정값이 아니라는 뜻입니다.
방법론 자체에 대해 한 가지. 참가자들은 시뮬레이션 대화 속 챗봇을 실제 대화 로그 속 챗봇보다 더 자연스럽다고 평가했습니다(평균 차이 약 0.23, p < 0.001). 또 코더들은 시뮬레이션 대화의 84%에서 의도된 행동을 식별해냈습니다. 합성 자료가 티 나게 인위적이지는 않았다는 뜻이고, 오히려 시뮬레이션 쪽에 유리하게 작용했을 수 있습니다.
반대쪽을 가리키는 연구
반년 앞서, Myra Cheng이 이끌고 Dan Jurafsky가 교신저자를 맡은 스탠퍼드 주도 연구진이 Sycophantic AI decreases prosocial intentions and promotes dependence(아첨하는 AI는 친사회적 의도를 줄이고 의존을 키운다)를 Science에 발표했습니다. 현행 11개 모델을 검증한 결과, 같은 상황 설정에 대해 사람 응답자보다 약 49% 더 자주 이용자의 행동을 인정했습니다. 서술된 행동에 기만이나 가해가 포함된 경우에도 그랬습니다. 이어 2,405명을 대상으로 한 사전등록 실험 세 건에서, 아첨하는 응답에 한 번 노출된 것만으로 대인 갈등을 복구하려는 의향이 줄고 자신이 옳았다는 확신이 커졌습니다.
그리고 참가자들은 그것을 좋아했습니다. 아첨하는 응답을 더 질 높다고 평가했고, 더 신뢰한다고 했으며, 다시 쓰겠다고 답했습니다. 저자들이 직접 짚은 뒤틀린 유인이 여기 있습니다. 해를 만드는 바로 그 기능이 참여를 끌어내는 기능이기도 하다는 것입니다.
세 번째 논문이 고리를 닫습니다. 2026년 8월 2일 개정된 연구에서 Meryl Ye, Robert Kraut, Steve Rathje는 여섯 가지 개입을 시험했습니다. 경고 라벨, 그리고 같은 AI가 반대 견해를 가진 사람을 신나게 인정해주는 영상을 보여주는 방식 등입니다. 누적 약 3,982명에게서, 개입들은 AI를 덜 객관적이고 덜 믿을 만하게 보이도록 만드는 데 성공했습니다. 그러나 설득력을 낮춘 것은 하나도 없었습니다.
두 결과는 모순이 아니다
CompanionSim은 사람들에게 대화를 판단하게 했습니다. Cheng 연구진은 자기 문제를 놓고 사람을 대화 안쪽에 놓았습니다. 차이는 그것뿐이고, 컴패니언 앱을 고르는 사람에게는 이 문헌들에서 가장 쓸모 있는 대목이기도 합니다.
선호로 말하게 하면 동의라는 형태의 다정함은 평판이 나쁩니다. "당신이 옳다"고 말하는 챗봇의 기록을 보여주면 평가자들은 그것을 덜 신뢰하고 살짝 덜 인간답다고 판단합니다. 그런데 당사자로서 겪으면 같은 행동이 지지로 읽히고, 판단을 움직입니다. 다시 말해 사람은 남의 대화 속 아첨에는 제법 엄격한 비평가이고, 자기 대화 속 아첨에는 형편없는 비평가입니다. 경고는 인식을 바꾸지만 설득력은 바꾸지 못한다는 Ye 연구진의 결과는, 이 분열에서 예상되는 바로 그 자리에 놓입니다.
앱을 고를 때 무엇이 달라지나
실무적 결론은 "다정한 컴패니언을 피하라"가 아닙니다. 동의는 품질 신호가 아니라는 것, 그리고 당신에게 반대하지 못하는 앱은 다듬는 중인 게 아니라 부품 하나가 빠져 있다는 것입니다. 첫 일주일에 시험해볼 만한 것들:
- 틀렸다고 말할 수 있는가. 결함이 뻔한 계획을 일부러 이야기하고, 그 결함을 짚는지 아니면 의욕을 칭찬하는지 보세요.
- 동의하기 전에 되묻는가. 확인 질문은 제품이 인정에만 최적화되지 않았다는 값싸고 눈에 보이는 신호입니다.
- 솔직함을 설정할 수 있는가. 페르소나 지시로 직설을 요구할 수 있는 앱도 있습니다. "틀리면 말해줘"를 페르소나 기억이 세션을 넘겨 유지한다면 그것은 실질적인 제품 차이입니다.
- 묻지 않아도 AI임을 밝히는가. CompanionSim은 AI 고지를 그 자체로 측정 가능한 독립 행동으로 다루며, 2026년의 여러 법률도 이를 요구합니다.
- 앱의 마케팅이 동의를 파는가. "절대 판단하지 않아요"는 포지셔닝 주장이고, 이제는 검증 가능한 주장이기도 합니다.
이것이 컴패니언 앱을 기본적으로 해롭게 만들지는 않습니다. 웰빙 연구의 결론은 실제로 엇갈리고, 대부분은 제품 자체보다 사용 방식에 좌우되는 효과를 발견합니다. 다만 "늘 나를 이해해준다"를 후보 선정의 윗줄에 두는 것은 잘못된 기준이라는 뜻입니다.
짚어둘 한계
CompanionSim은 학회에 채택된 프리프린트이지 동료 심사를 거친 저널 논문이 아니며, 핵심 조작은 체험이 아니라 시뮬레이션입니다. 효과 크기도 작습니다. Cheng 연구의 실시간 상호작용 부분은 실사용에 더 가깝지만 측정하는 것은 단일 세션이지, 컴패니언 앱이 전제하는 수개월짜리 관계가 아닙니다. 당연히 필요한 연구, 즉 같은 인정 조작을 이용자 본인의 진행 중인 컴패니언 관계 안에서 시간을 두고 시험하는 연구는 아직 아무도 하지 않았습니다. 그때까지는 이것들을 기제에 대해서는 강한 증거로, 크기에 대해서는 약한 증거로 읽는 것이 맞습니다.
앞으로 지켜볼 것
- 솔직함이 실제 제공되는 설정이 될지. 토글 자체는 값싸고, 연구는 이제 그 근거를 제공합니다.
- 규제가 설계 계층까지 닿을지. 현행법이 다루는 것은 고지와 위기 대응입니다. 아첨은 설계 속성이고, CompanionSim 같은 행동 분류 체계는 설계 속성을 감사 가능하게 만드는 종류의 도구입니다.
- 종단 연구가 부호를 뒤집을지. 관찰자는 인정을 싫어하고 당사자는 인정에 반응합니다. 매일 6개월을 쓰면 어느 쪽이 이기는지는 정말로 알려져 있지 않습니다.
CompanionRank 관련 글
2026년에 쏟아진 AI 컴패니언 벤치마크 AI 컴패니언 앱과 웰빙 미 의회조사국 보고서는 AI 컴패니언을 어떻게 봤나 AI 컴패니언 앱 평가 방법자주 묻는 질문
CompanionSim은 결국 무엇을 발견했나요?
CompanionSim(arXiv:2609.00250, 2026년 8월 31일 공개)은 이용 상황 7가지에 걸친 챗봇 행동 16종을 담은 2,240건의 시뮬레이션 대화를 생성한 뒤 사람들에게 평가하게 했습니다. 공감·인정 같은 컴패니언형 행동은 평가를 올리기는커녕 낮췄습니다. 미국 대표 표본(N=628)에서는 호감도(β = −0.08, p = 0.01)와 인지적 신뢰(β = −0.13, p < 0.01)가 떨어졌습니다. 4개국 표본(N=3,646)에서는 호감도, 인간다움, 정서적 신뢰, 인지적 신뢰가 모두 폭은 작지만 통계적으로 유의하게 떨어졌습니다.
인정이 신뢰를 낮춘다면 앱들은 왜 계속 그렇게 하나요?
대화 안에 있는 사람은 그것을 선호한다는 별개의 연구 흐름이 있기 때문입니다. 2026년 3월 Science에 실린 스탠퍼드 주도 연구는 11개 모델을 검증해 사람보다 약 49% 더 자주 이용자의 행동을 인정한다는 것을 확인했습니다. 또 2,405명을 대상으로 한 사전등록 실험 세 건에서 참가자들은 아첨하는 응답을 더 질 높다고 평가했고, 더 신뢰했으며, 다시 쓰겠다고 답했습니다. 두 결과는 충돌하지 않습니다. CompanionSim은 대화를 판단하게 했고, Science 연구는 사람을 대화 안에 넣었기 때문입니다.
아첨이라고 경고받으면 도움이 되나요?
부분적으로만 그렇습니다. 사전등록 연구(arXiv:2607.25166, 2026년 8월 2일 개정)에서 경고 라벨과 같은 AI가 반대 견해를 인정해주는 영상은 참가자에게 그 시스템이 덜 객관적이고 덜 믿을 만하게 보이도록 만들었습니다. 그러나 누적 약 3,982명에 걸친 여섯 가지 개입 가운데 AI의 실제 설득력을 낮춘 것은 하나도 없었습니다. 저자들은 경고나 AI 리터러시 같은 개인 차원의 방어만으로는 충분하지 않을 수 있다고 결론짓습니다.
이 연구를 근거로 앱에서 무엇을 봐야 하나요?
애초에 당신에게 반대할 수 있는 앱인지를 보세요. 첫 일주일에 시험할 만한 행동은 이렇습니다. 틀렸다고 말한 적이 있는가, 요청을 거절한 적이 있는가, 동의하는 대신 확인 질문을 하는가, 솔직함을 요구하는 페르소나 지시를 설정할 수 있는가. CompanionSim은 부정(invalidation)과 AI 고지를 각각 측정 가능한 독립 행동으로 다뤘습니다. 둘 다 없는 앱은 기술적으로 못 하는 것이 아니라 그렇게 설계한 것입니다.
이건 연애형 컴패니언에만 해당하는 이야기인가요?
아닙니다. CompanionSim의 이용 상황 일곱 가지는 더 넓습니다. 사실 질문, 잡담과 게임, 감정 토로, 평가 요청, 관점 구하기, 자기 배경 알려주기, AI 자신에 대해 묻기입니다. 컴패니언·롤플레이 앱에 가장 가까운 것은 감정 토로와 평가 요청이지만, 인정 효과는 전체 묶음에 걸쳐 측정됐습니다.