메모리와 연속성: 컴패니언은 왜 잊는가 (그리고 좋은 앱은 왜 잊지 않는가)

월요일에 컴패니언에게 강아지 이름을 알려 줍니다. 금요일이 되면 컴패니언은 당신에게 강아지가 있다는 것조차 모릅니다. 이것이 이 분야를 규정하는 좌절이며, 사실 버그라기보다 기술이 작동하는 방식의 결과입니다. 그 메커니즘을 이해하면 현실적인 기대치를 세우는 동시에, 어떤 앱이 실제로 이 문제를 해결하는지 평가할 수 있습니다. 이 글은 더 짧은 페르소나 메모리 해설을 보완하는 심층편입니다.

근본 원인: 모델은 상태를 저장하지 않는다

언어 모델은 메시지 사이에 아무것도 기억하지 않습니다. 모든 답변은 그 순간 컨텍스트 창에 담긴 텍스트로부터 새로 생성됩니다. 어떤 사실이 그 창 안에 없으면 모델은 그것을 알 수 없습니다 — 끌어다 쓸 숨겨진 저장소 같은 것은 없습니다. 앱이 연속성을 느끼게 하려고 하는 모든 일은 알맞은 텍스트를 알맞은 때에 그 창 안으로 다시 넣으려는 노력입니다.

컨텍스트 창과 그 한계

가장 단순한 형태의 메모리는 최근 대화를 다시 전달하는 것입니다. 하지만 컨텍스트 창은 유한합니다. 대화가 길어지면 자리를 마련하기 위해 오래된 메시지가 밀려나고 — 그것들이 사라지면 거기서만 언급된 내용도 함께 사라집니다. 갓 시작한 대화는 또렷하게 느껴지는데 아주 긴 대화는 점점 세부를 흘리기 시작하는 이유가 바로 이것입니다. 그 어떤 영리한 프롬프트로도 완전히 없앨 수 없는 확고한 상한선입니다.

장기 메모리: 요약하고 불러오기

더 나은 앱은 두 번째 층을 더합니다. 원본 최근 메시지에만 의존하는 대신, 핵심 사실을 뽑아내 압축된 요약으로 저장했다가 필요할 때 관련 있는 것을 다시 끼워 넣습니다. 그 메시지가 컨텍스트 창을 떠난 지 오래인데도 좋은 컴패니언이 몇 주 뒤 당신의 강아지를 "기억하는" 방식이 이것입니다.

이 중 어느 것도 완벽하지 않습니다. 요약은 뉘앙스를 압축해 없앨 수 있고, 검색은 관련 없는 기억을 가져올 수 있습니다. 하지만 이 세 층을 모두 갖춘 앱은 컨텍스트에만 의존하는 앱보다 극적으로 더 연속적으로 느껴집니다.

연속성이 정말로 어려운 이유

• 무엇을 남길지 정하기: 전부 저장하는 것은 비싸고 잡음이 많으며, 너무 적게 저장하면 중요했던 것을 잊습니다.
• 무엇을 끄집어낼지 정하기: 알맞은 기억이 알맞은 순간에 불려 나와야 하며, 그렇지 않으면 쓸모가 없습니다.
• 정확하게 유지하기: 저장된 사실은 낡을 수 있고(이사를 갔다, 계획이 바뀌었다) 갱신이 필요합니다.

이런 득실 관계 때문에 메모리 품질이 앱마다 그토록 크게 갈리며, 우리가 앱 고르는 법 가이드에서 비중 있게 다루는 가장 강력한 차별 요소 중 하나가 됩니다.

앱의 메모리를 테스트하는 법

1. 초반에 확인 가능한 구체적인 사실(이름, 계획)을 언급하세요.
2. 관련 없는 대화를 나눠 그것을 당장의 창 밖으로 밀어내세요.
3. 며칠 뒤 그것을 에둘러 언급해 컴패니언이 떠올리는지 보세요.
4. 저장된 내용을 보고 수정할 수 있는 메모리 패널을 열 수 있는지 확인하세요.

메모리를 보고 수정하는 기능은 그 자체로 강력한 신호입니다. 앱이 메모리를 마케팅 문구가 아니라 실제로 들여다볼 수 있는 시스템으로 다룬다는 뜻이기 때문입니다. WhatCanIDoWith 리뷰는 개인화 중심 앱이 연속성을 어떻게 다루는지 살펴보고, 순위는 메모리를 직접 평가합니다. 프라이버시가 마음에 걸린다면, 저장된 기억 또한 저장된 데이터라는 점을 유념하세요 — 프라이버시 체크리스트 참고.

자주 묻는 질문