Apakah Memori AI Companion Membuat Anda Terlalu Terbuka?

Dua studi, dua sisi dari fitur yang sama

Aplikasi companion menjual kesinambungan: karakter yang ingat minggu Anda, kekhawatiran Anda, dan nama Anda. Selama ini riset lebih banyak bertanya apakah itu membuat orang lebih bahagia atau lebih kesepian. Dua makalah ini menanyakan hal yang lebih sempit dan praktis: apakah diingat membuat orang bercerita lebih banyak, dan apa yang terjadi pada cerita itu?

Uji DeepMind: memori terasa wajar, dan orang jadi terbuka

Peserta yang direkrut lewat Prolific mengobrol 15 sampai 20 menit setiap hari dengan model tentang topik hubungan sehari-hari, seperti menetapkan batasan atau memperbaiki pertemanan yang renggang. Mereka diacak ke salah satu dari tiga versi: model kontrol tanpa informasi pribadi; model memori yang menerima ringkasan berjalan dari sesi sebelumnya; atau model survei yang menerima ringkasan persona dari kuesioner awal.

Sebagian besar perubahan datang dari pengulangan, bukan personalisasi

Selama lima hari, peserta di semua kelompok merasa lebih dekat dengan model dan menilainya lebih berguna serta lebih kompeten. Personalisasi tidak mempercepat hal itu. Menurut penulis, beberapa pergeseran terutama didorong oleh paparan berulang, bukan oleh personalisasi itu sendiri — pengingat bahwa sekadar mengobrol dengan chatbot setiap hari sudah mengubah cara orang memperlakukannya.

Di mana memori membuat perbedaan

• Kurang menyeramkan. Versi memori dinilai kurang menyeramkan secara signifikan dibanding kontrol. Versi survei tidak berbeda.
• Lebih banyak detail dibagikan. Kedalaman berbagi menurut laporan diri tidak berbeda antarkelompok, tetapi jumlah detail pribadi yang benar-benar diungkapkan naik lebih cepat dari sesi ke sesi pada model memori. Apa yang orang rasa mereka bagikan dan apa yang mereka bagikan tidak sejalan.
• Penyesalan sedikit lebih tinggi pada versi survei. Orang yang modelnya dibekali jawaban kuesioner melaporkan penyesalan yang sedikit lebih tinggi atas apa yang mereka bagikan. Memori tidak menaikkan penyesalan.

Audit Rutgers: apa yang benar-benar disimpan memori

Studi kedua melihat ujung lain dari alurnya. Pengguna di empat negara mendonasikan berkas ekspor ChatGPT mereka secara utuh melalui proses berizin dan telah disetujui komite etik, lalu peneliti menganalisis percakapan sekaligus entri memori yang dibangun ChatGPT dari percakapan itu.

• 21,31% percakapan berisi informasi kesehatan pribadi, dan 3,62% membawa risiko privasi tinggi hingga ekstrem, seperti kondisi yang rawan stigma, pengenal langsung, atau lokasi yang tepat.
• Lebih dari 95% entri memori diekstrak secara implisit, tanpa perintah eksplisit dari pengguna atau konfirmasi saat itu — padahal dokumentasinya menggambarkan memori sebagai fitur yang diarahkan pengguna.
• Memori cenderung memadatkan keluhan sementara setingkat gejala menjadi ciri diagnostik permanen. Satu pertanyaan tentang gejala bisa menjadi baris tetap dalam profil.

Penulis menegaskan bahwa ini temuan tentang ChatGPT: mereka tidak dapat menjalankan audit yang sama pada asisten lain, dan mereka berpendapat risikonya muncul dari pilihan desain tertentu, bukan dari memori itu sendiri.

Mengapa kedua temuan perlu dibaca bersama

Jika dibaca berdampingan, kedua studi menggambarkan satu lingkaran. Memori membuat model terasa akrab dan tidak mengganggu, orang bercerita lebih banyak, lalu sistem memori otomatis mengubah cerita itu menjadi catatan yang menetap — sering tanpa bertanya. Tidak satu pun makalah menguji aplikasi companion, tetapi aplikasi companion lebih bergantung pada memori dibanding asisten umum, dan percakapannya sering lebih pribadi. Penjelasan kami tentang memori persona dan mengapa companion bisa lupa membahas cara sistem ini biasanya dibangun.

Daftar periksa memori untuk aplikasi companion apa pun

Untuk audit pengaturan yang lebih luas, termasuk ekspor dan penghapusan data, lihat daftar periksa privasi AI companion kami.

Apa yang tidak bisa disimpulkan dari studi ini

• Keduanya pracetak dan belum selesai ditelaah sejawat.
• Uji DeepMind berlangsung lima hari, memakai topik yang ditentukan, dan hanya mempersonalisasi lewat prompt; penggunaan bebas jangka panjang bisa berbeda.
• Audit Rutgers hanya mencakup ChatGPT, memakai pengodean berbantuan LLM yang diperiksa pengode manusia, dan donornya adalah orang yang mampu mengekspor data mereka — bias seleksi yang diakui sendiri oleh penulis.
• Tidak satu pun studi mengukur kerugian akibat kebocoran atau penyalahgunaan; yang diukur adalah apa yang dibagikan dan apa yang disimpan.

Kesimpulan

Memori bukan pipa yang netral. Satu studi menunjukkan memori membuat orang lebih nyaman dan lebih terbuka; studi lainnya menunjukkan seberapa banyak keterbukaan itu bisa tersimpan tanpa momen persetujuan yang jelas. Saat membandingkan aplikasi companion, pertanyaan yang berguna bukan apakah ia mengingat, melainkan apakah Anda bisa melihat, mengonfirmasi, dan menghapus apa yang diingatnya.

Pertanyaan yang sering diajukan