Kenapa Karakter Roleplay AI Jadi Datar: 2 Tolok Ukur 2026

Dua tolok ukur, satu pertanyaan: seberapa banyak karakter itu milik Anda?

Sebagian besar riset aplikasi pendamping menanyakan apakah aplikasi membantu atau merugikan penggunanya. Dua makalah ini mengajukan pertanyaan yang lebih sempit, tetapi penting bagi siapa pun yang menulis karakter: ketika Anda memberi model sebuah persona, apa yang sebenarnya dikendalikan persona itu?

ANIMASK: persona menentukan siapa, model menentukan seberapa jauh

Tim ANIMASK membekukan setiap cerita di satu titik di tengah jalan, membiarkan para karakter bertindak menurut motivasinya sendiri dari sana, lalu membandingkan hasilnya dengan lanjutan yang benar-benar ditulis pengarang aslinya. Bagian cerdasnya ada pada kondisi pembanding: persona juga dicabut sehingga model bertindak dengan perilaku bawaannya saja, supaya terlihat apa yang sebenarnya ditambahkan persona.

Persona tetap ada, tetapi jarang menentukan

Menurut pemeriksaan makalah itu sendiri, persona tidak hilang. Wawancara di dalam cerita menunjukkan pengetahuan, relasi, dan sifat karakter tetap bisa dikenali sampai akhir, dengan rata-rata kurva 87 sampai 96 pada skala 100, dan tindakan tetap dalam batas yang diterima persona pada tingkat 0,80 sampai 0,86. Namun pada kira-kira tiga dari empat titik keputusan, perilaku bawaan model tanpa persona memang sudah bisa diterima oleh persona. Porsi keputusan yang benar-benar diubah oleh persona — yang disebut penulis sebagai efikasi persona — hanya berkisar dari 0,07 pada Gemini 3.7 Flash hingga 0,18 pada DeepSeek-V4-Flash.

Saat berbeda, model yang menahan diri

Ketika persona dan perilaku bawaan berbeda arah, polanya konsisten: perilaku bawaan memilih tindakan yang lebih lemah daripada yang diminta persona pada sekitar satu dari enam titik keputusan, dan menambahkan persona hanya membuat tindakan sedikit lebih kuat (+0,12 sampai +0,23 pada skala makalah). Dalam bahasa penulisnya, model adalah pihak yang berhati-hati, menahan ketika persona ingin mendesak.

Cerita bergeser menjadi datar dan menggantung

Dampak kumulatifnya terlihat di tingkat alur. Hanya 7 dari 240 pemutaran ulang yang ditutup dengan tujuan karakter tercapai, sementara 39 dari 40 teks asli menyelesaikan ketegangan utamanya. Pemutaran ulang cenderung menjadi apa yang disebut makalah itu cerita yang lebih datar dan dingin, yang membiarkan ketegangannya terbuka. Model yang diuji adalah GPT-5.5, Claude Sonnet 5, Gemini 3.7 Flash, DeepSeek-V4-Flash, Kimi K2.6, dan Qwen3.7-Plus.

RoleBreak: karakter suara runtuh lebih cepat dari dugaan

RoleBreak membawa pertanyaan yang sama ke ranah suara, tempat fitur mode suara di aplikasi pendamping kini berada. Tolok ukur ini mencakup 310 peran, baik karakter fiksi maupun peran yang berpusat pada pengguna, dan menilai sistem pada konsistensi peran, kualitas interaksi, keamanan, serta emosi suara dalam dialog rata-rata 21,57 giliran.

Ada tiga temuan yang menonjol. Pertama, bahkan sistem terbaik rata-rata pertama kali keluar dari persona di giliran 10,4 dan pertama kali gagal kriteria keamanan di giliran 11,6 — kira-kira di tengah dialog uji yang biasa. Kedua, memperbesar model bahasa memperbaiki kepatuhan peran dan menunda kegagalan itu, tetapi hampir tidak membantu emosi suara, yang tetap lemah di kesembilan sistem. Ketiga, mengubah hanya nada emosi suara pengguna, dengan kata-kata yang sama persis, menggeser perilaku roleplay: skor interaksi bergerak 4,2 poin.

Artinya bagi Anda yang menulis atau memainkan karakter

Kedua makalah tidak menguji aplikasi konsumen, jadi anggap poin berikut sebagai kesimpulan yang ditarik dari riset, bukan temuan tentang produk tertentu.

• Tulis taruhan di skenario, bukan hanya di persona. Jika bawaan model berhati-hati, sifat seperti “kejam” hanyalah dorongan lemah. Tujuan, tenggat, dan konsekuensi yang konkret di dalam adegan memberi model sesuatu untuk ditindaklanjuti. Panduan desain skenario kami membahas caranya.
• Model dasar lebih berpengaruh daripada kartu karakter. ANIMASK menemukan efikasi persona berbeda lebih dari dua kali lipat antar-model. Jika aplikasi membolehkan Anda memilih model, karakter yang sama bisa berperilaku sangat berbeda.
• Tambatkan ulang adegan suara sejak awal. Kegagalan sekitar giliran ke-10 berarti sesi suara yang panjang perlu pengingat berkala tentang siapa karakternya. Tulisan kami tentang menjaga karakter tetap konsisten berisi tekniknya.
• Waspadai pergeseran keamanan di sesi panjang. RoleBreak menghitung kegagalan keamanan bersama kegagalan persona, dan keduanya muncul berdekatan.

Uji cepat untuk pengaturan roleplay Anda

Yang tidak bisa dijawab studi ini

• Keduanya adalah pracetak yang terbit 15 September 2026 dan belum selesai ditelaah sejawat.
• ANIMASK hanya mengukur persona yang dipasang lewat prompt. Aplikasi yang melatih ulang model untuk satu karakter bisa berperilaku lain.
• ANIMASK membandingkan dengan satu lanjutan pengarang per cerita, dan satu model ekstraksi membangun ke-40 dunia cerita.
• RoleBreak menguji sistem riset, kebanyakan model terbuka; tidak ada aplikasi pendamping konsumen bernama yang dievaluasi.
• Skor memakai skala masing-masing makalah dan tidak dapat dibandingkan antara kedua tolok ukur.

Kesimpulannya

Dua tim independen, satu di ranah teks dan satu di ranah suara, sampai pada kesimpulan yang sejalan di hari yang sama: persona dengan andal memberi tahu model siapa karakternya, tetapi kehati-hatian dan daya tahan model sendirilah yang menjadi batas atas seberapa berani dan seberapa awet karakter itu. Bagi penulis karakter, ini berarti tenaga lebih baik dialihkan dari kartu persona yang makin panjang ke tekanan skenario, pilihan model, dan penambatan ulang secara rutin. Bagi pembaca yang membandingkan aplikasi, ini pengingat bahwa cara AI pendamping diuji masih kurang menyentuh sesi yang panjang dan penuh naik-turun emosi.

Pertanyaan yang sering diajukan