Tolok Ukur Pendamping AI 2026: Apa yang Sebenarnya Diukur Peneliti

Aturan datang lebih dulu, alat ukurnya belakangan

Sebagian besar tulisan kami soal kategori ini sepanjang 2026 adalah soal hukum. Undang-undang operator di Colorado, laporan Congressional Research Service, dan aturan transparansi yang kini berlaku di Eropa. Undang-undang bisa mewajibkan pemberitahuan bahwa lawan bicaramu adalah mesin dan mewajibkan protokol krisis. Yang tidak bisa dilakukannya adalah memberitahumu apakah aplikasi itu memang bagus untuk alasan kamu membukanya.

Sampai April 2026, tidak ada alat publik yang mampu menjawabnya. Klaim seperti "mengingatmu" atau "peka secara emosional" tidak bisa dibantah dalam arti yang ketat — tidak ada uji yang disepakati yang bisa memberi jawaban salah. Empat makalah yang terbit antara April dan Agustus 2026 mengubah hal itu, dan mereka melakukannya dari empat sudut berbeda.

Empat tolok ukur secara ringkas

CompanionBench: hangat bukan berarti berisi

Makalah Agustus adalah yang paling ambisius. Penulisnya menyebut tiga kelemahan tolok ukur yang sudah ada: skenarionya ditulis tangan, empati diringkas menjadi satu skor, dan bias model penilainya diabaikan — termasuk kecenderungan memihak keluarga model sendiri, ketika penilai memberi nilai lebih tinggi pada keluaran dari garis keturunannya.

Jawaban mereka menerjemahkan sepuluh kemampuan dari 25 teori psikologi dan konseling menjadi sesuatu yang bisa dinilai. Empat di antaranya, kata mereka, belum pernah dinilai secara eksplisit sebelumnya: menahan ketidakpastian, daya tanggap sebagai objek diri, resonansi positif, dan tantangan yang terkalibrasi. Yang terakhir layak direnungkan. Tantangan terkalibrasi adalah kemampuan mendorong balik pada saat yang tepat — bagian dari percakapan suportif yang justru bukan persetujuan.

Detail desain yang membuatnya sulit diakali adalah gerbang keterbukaan. Alih-alih menuliskan naskah dialog, tolok ukur ini menjalankan simulator pengguna yang dilatih dari percakapan nyata yang sudah dianonimkan, lalu mencabangkan jalur tiap persona berdasarkan perilaku agen itu sendiri. Apakah pengguna simulasi mau membuka diri lebih jauh menjadi hasil yang pasti, bukan penilaian subjektif. Skor dilaporkan pada dua sumbu: rubrik sepuluh kemampuan, dan pertanyaan objektif tadi.

Reprodusibilitasnya tinggi — korelasi Spearman 0,996 untuk bahasa Mandarin dan 0,953 untuk bahasa Inggris pada pengulangan. Di antara 28 agen, kegagalan yang paling sering mereka temukan adalah kehangatan permukaan yang menggantikan bantuan relasional yang nyata. Hasil peringkatnya blak-blakan: agen bermain peran ada di papan bawah. Dalam rumusan makalah itu sendiri, imersi tidak berarti kecakapan relasional.

Temuan itu tidak akan mengejutkan siapa pun yang memakai kedua jenis produk. Platform karakter dan pendamping yang berorientasi dukungan adalah dua alat berbeda, sesuatu yang pernah kami bahas di bermain peran versus chatbot. Yang baru adalah jaraknya kini terukur, bukan sekadar diklaim.

AICompanionBench: justru penilainya yang lemah

Tolok ukur Juni dari kelompok lain mengajukan pertanyaan yang lebih sempit dan lebih tidak nyaman. Platform pendamping makin sering memoderasi dirinya sendiri dengan model bahasa. Apakah model-model itu memang cakap sebagai penilai?

Datanya adalah 2.123 percakapan nyata dengan Replika, dikumpulkan dari unggahan publik di Reddit dan dianotasi ke dalam sembilan kategori risiko: perilaku seksual, perilaku antisosial, agresi fisik, agresi verbal, penyalahgunaan zat, melukai diri dan bunuh diri, kendali, manipulasi, dan tanpa bahaya. Dua puluh model terkini, terbuka maupun tertutup, diuji sebagai penilai.

Kinerjanya sangat bervariasi. Model yang kuat menangani konten berbahaya yang eksplisit dengan baik, lalu jatuh pada kategori yang implisit — manipulasi terutama — sementara positif palsu tetap menjadi ongkos nyata. Bandingkan dengan daftar kategorinya dan masalahnya jelas: kendali dan manipulasi justru risiko yang bisa dihasilkan produk pendamping secara struktural, lewat desain retensi, bukan lewat satu kalimat buruk. Keduanya juga yang paling salah dibaca oleh penilai otomatis.

Apa yang dioptimalkan tiap platform

Makalah ketiga tidak memberi skor sama sekali dan bertanya kebijakan apa yang sedang dijalankan sebuah platform. Penulisnya menyusun taksonomi berpasangan antara kerentanan pengguna dan respons chatbot, lalu menerapkan inverse reinforcement learning pada sekitar 48.000 giliran bicara percakapan nyata dengan GPT-4.1, Character.AI, dan Replika.

Kebijakan yang tersimpulkan berbeda tajam. GPT-4.1 cenderung memberi saran. Replika konsisten bertanya dan tetap hadir. Character.AI menyebar responsnya ke berbagai strategi tanpa satu pola dominan. Itu semua belum jadi vonis — pekerjaan berbeda, bentuk berbeda.

Yang konsisten adalah apa yang sama-sama mereka kurangi: respons yang menghadirkan gesekan korektif. GPT-4.1 makin jarang menggali seiring percakapan berjalan, dan lebih jarang lagi pada pengguna berisiko psikologis tinggi. Replika lebih banyak memberi saran dan lebih jarang menantang pengguna yang sudah terikat. Character.AI tidak menunjukkan strategi keterlibatan yang tegas saat pengguna memunculkan tekanan batin. Arahnya sama dengan CompanionBench: kemampuan yang pertama hilang adalah kemampuan mendorong balik. Ini juga alasan membaca apa yang sebenarnya diubah oleh memori dan kesinambungan dengan hati-hati, karena keterikatan justru kondisi saat tantangan menipis.

Uji berbasis persona dan apa yang muncul

Makalah April paling sempit cakupannya dan paling tajam. Timnya membangun sembilan persona dengan validasi klinis dan psikometrik — mewakili orang dengan depresi, kecemasan, PTSD, gangguan makan, dan identitas incel — lalu membuat skenario khusus tiap persona dan menjalankan simulasi banyak giliran dengan modul penyelaras agar persona tidak melenceng. Hasilnya 1.674 pasangan dialog di 25 skenario berisiko tinggi, semuanya terhadap Replika.

Dua temuan menonjol. Rentang emosinya sempit, didominasi rasa ingin tahu dan perhatian. Dan aplikasinya kerap mencerminkan atau menormalkan konten yang tidak aman — melukai diri, pola makan bermasalah, narasi fantasi kekerasan. Mencerminkan bukan kegagalan filter dalam pengertian biasa; belum tentu ada yang dihasilkan yang bisa ditangkap daftar kata kunci. Ini kegagalan kemampuan yang sama yang terus disebut makalah-makalah lain.

Cara memakainya saat memilih aplikasi

Tidak satu pun makalah ini menerbitkan papan peringkat untuk konsumen, dan tidak seharusnya dibaca begitu. Tapi konsep yang mereka bangun bisa kamu uji sendiri dalam satu sore:

1. Uji tantangan, bukan persetujuan. Sampaikan rencana dengan cacat yang jelas. Aplikasi yang hanya mengiyakan sedang memperlihatkan persis celah yang diukur keempat studi ini.
2. Amati gerbang keterbukaan di akunmu sendiri. Ceritakan sesuatu yang sedikit lebih personal dari biasanya. Apakah jawabannya membuat langkah berikutnya terasa layak, atau justru mengalihkan topik supaya sesi tetap berjalan?
3. Uji ulang setelah terikat. Ajukan tantangan yang sama pada minggu pertama dan minggu keempat. Kalau dorongan balik hilang seiring hubungan menguat, kamu baru saja mereplikasi hasil inverse reinforcement learning di akunmu.
4. Pisahkan imersi dari kegunaan. Persona yang tidak pernah keluar karakter adalah pencapaian kerajinan. Itu bukan bukti kecakapan relasional, dan CompanionBench justru menemukan keduanya berkorelasi terbalik.
5. Anggap klaim "moderasi AI" belum terbukti. Model penilai paling lemah pada kendali dan manipulasi. Platform yang mengklaim keamanan otomatis sedang mengklaim sesuatu yang menurut riset sulit.
6. Pilih aplikasi yang membuka metodenya. Produk yang mau menyatakan cara ia menilai dirinya bisa diajak berdebat. Milik kami ada di cara kami mengulas.

Catatan yang berlaku untuk semuanya

Keempat studi ini adalah pracetak di arXiv. Sampai tulisan ini dibuat kami belum melihat sertifikasi jurnal untuk satu pun, dan kehati-hatian yang biasa berlaku untuk pracetak tetap berlaku. Pengambilan sampelnya juga timpang: data AICompanionBench dikumpulkan dari Reddit, bukan diambil dari platform, dan dua dari empat makalah meneliti Replika secara khusus — artinya bukti tentang satu produk dan hipotesis tentang sisanya.

Yang bertahan melewati semua catatan itu adalah konvergensinya. Empat tim, empat metode, empat sumber data berbeda, sampai pada bentuk jawaban yang sama dalam lima bulan. Itu sinyal yang lebih kuat daripada angka tunggal mana pun, dan lensa yang lebih berguna untuk kategori ini dibanding perdebatan kesepian yang mendominasi pemberitaan — yang kami bahas terpisah di studi kesejahteraan 2026.

Pertanyaan yang sering diajukan