AI 컴패니언 기억 기능, 나도 모르게 더 털어놓게 될까?

같은 기능의 앞면과 뒷면을 본 두 연구

컴패니언 앱이 내세우는 것은 '이어지는 관계'입니다. 나의 한 주, 고민, 이름을 기억하는 캐릭터죠. 지금까지 연구는 주로 그것이 사람을 더 행복하게 하는지, 더 외롭게 하는지를 물었습니다. 이번 두 편은 더 구체적입니다. 기억해 주면 사람들은 더 많이 털어놓는가, 그리고 털어놓은 내용은 어떻게 되는가.

DeepMind 실험: 기억은 자연스럽게 느껴지고, 사람은 마음을 연다

Prolific으로 모집한 참가자들은 하루 15~20분씩 경계선 긋기, 틀어진 친구 관계 회복 같은 일상적인 인간관계 주제로 AI와 대화했습니다. 배정은 무작위로 세 가지였습니다. 개인 정보가 없는 대조 모델, 이전 대화의 누적 요약을 받는 기억 모델, 사전 설문으로 작성한 인물 요약을 받는 설문 모델입니다.

변화의 상당 부분은 개인화가 아니라 '반복'에서 나왔다

5일 동안 모든 집단에서 AI에 대한 친밀감이 높아졌고, 유용하고 유능하다는 평가도 올랐습니다. 개인화가 그 속도를 높이지는 않았습니다. 저자들은 여러 변화가 개인화 자체보다는 반복 노출에서 주로 비롯됐다고 설명합니다. 매일 챗봇과 이야기하는 것만으로도 사람이 AI를 대하는 방식이 달라진다는 뜻입니다.

기억이 차이를 만든 지점

• 덜 거북하다. 기억 모델은 대조 모델보다 유의하게 덜 거북하다는 평가를 받았습니다. 설문 모델은 차이가 없었습니다.
• 털어놓는 정보가 늘어난다. 스스로 보고한 자기 노출의 깊이는 집단 간 차이가 없었지만, 실제로 꺼낸 개인 정보의 개수는 기억 모델에서 회차가 거듭될수록 더 빠르게 늘었습니다. 본인이 느낀 것과 실제 행동이 어긋난 셈입니다.
• 설문형은 후회가 조금 더 크다. 사전 설문 답변을 읽은 모델과 대화한 사람들은 털어놓은 내용에 대한 후회가 약간 더 높았습니다. 기억 모델은 후회를 늘리지 않았습니다.

러트거스대 감사: 기억은 실제로 무엇을 남기나

두 번째 연구는 그 흐름의 반대편을 봅니다. 4개국 사용자들이 동의와 윤리 심의를 거친 절차로 ChatGPT 내보내기 파일 전체를 기증했고, 연구진은 대화 자체와 ChatGPT가 그로부터 만든 기억 항목을 함께 분석했습니다.

• 대화의 21.31%에 개인 건강 정보가 있었고, 3.62%는 낙인이 따르기 쉬운 질환, 직접 식별자, 정확한 위치 같은 높음~극히 높음 수준의 프라이버시 위험을 담고 있었습니다.
• 기억 항목의 95% 이상은 사용자의 명시적 요청이나 실시간 확인 없이 묵시적으로 추출됐습니다. 공식 문서는 기억을 사용자가 주도하는 기능으로 설명했는데도 말입니다.
• 기억은 일시적인 증상 수준의 말을 영구적인 진단 특성으로 압축하는 경향을 보였습니다. 증상을 한 번 물어본 것이 프로필에 고정된 한 줄이 될 수 있습니다.

저자들은 이것이 ChatGPT에 대한 결과라고 분명히 합니다. 다른 어시스턴트에는 같은 감사를 할 수 없었고, 위험은 기억이라는 기능 전반이 아니라 특정 설계 선택에서 생긴다고 봅니다.

두 결과를 함께 읽어야 하는 이유

나란히 놓고 보면 두 연구는 하나의 고리를 그립니다. 기억이 있으면 AI가 친숙하고 덜 침범적으로 느껴지고, 사람은 더 많이 털어놓고, 자동 기억 시스템은 그것을 오래 남는 기록으로 바꿉니다. 그것도 대개 묻지 않고요. 두 연구 모두 컴패니언 앱을 시험하지는 않았지만, 컴패니언 앱은 범용 어시스턴트보다 기억에 더 크게 의존하고 대화도 더 사적인 경우가 많습니다. 이런 시스템이 보통 어떻게 만들어지는지는 페르소나 메모리 해설과 컴패니언이 잊어버리는 이유에서 다뤘습니다.

어떤 컴패니언 앱에든 쓸 수 있는 기억 체크리스트

데이터 내보내기와 삭제까지 포함한 전체 설정 점검은 AI 컴패니언 프라이버시 체크리스트를 참고하세요.

이 연구들로 알 수 없는 것

• 두 편 모두 프리프린트이며 동료 심사를 마치지 않았습니다.
• DeepMind 실험은 5일 동안, 지정된 주제로, 프롬프트를 통한 개인화만 다뤘습니다. 더 길고 자유로운 사용에서는 결과가 다를 수 있습니다.
• 러트거스대 감사는 ChatGPT만 대상으로 했고, 사람 코더가 검증한 LLM 보조 분류를 썼습니다. 기증자는 데이터를 내보낼 줄 아는 사람으로 한정돼, 저자들 스스로 선택 편향으로 꼽았습니다.
• 두 연구 모두 유출이나 오용으로 인한 실제 피해는 측정하지 않았습니다. 측정한 것은 무엇이 공유되고 무엇이 남는가입니다.

결론

기억은 중립적인 배관이 아닙니다. 첫 연구는 기억이 사람을 편하게 하고 더 많이 말하게 만든다는 것을, 두 번째 연구는 그 솔직함의 상당 부분이 분명한 동의의 순간 없이 저장될 수 있다는 것을 보여 줍니다. 컴패니언 앱을 비교할 때 물어야 할 것은 '기억하느냐'가 아니라 '기억한 것을 보고, 확인하고, 지울 수 있느냐'입니다.

자주 묻는 질문