เกณฑ์วัด 2 ชิ้น คำถามเดียว: ตัวละครเป็นของคุณแค่ไหน
งานวิจัยแอปคู่คุยส่วนใหญ่ถามว่าแอปช่วยหรือทำร้ายผู้ใช้ แต่งานสองชิ้นนี้ตั้งคำถามที่แคบกว่า และสำคัญกับทุกคนที่เขียนตัวละคร นั่นคือ เมื่อคุณใส่เพอร์โซนาให้โมเดล เพอร์โซนานั้นควบคุมอะไรได้จริงบ้าง
| ANIMASK | RoleBreak | |
|---|---|---|
| เผยแพร่ | 15 กันยายน 2026 (arXiv:2609.16667) | 15 กันยายน 2026 (arXiv:2609.16614) |
| ทีมวิจัย | New York University, NYU Abu Dhabi, McGill University, MBZUAI | The University of Hong Kong, Kami AI |
| รูปแบบ | โลกเรื่องเล่าแบบข้อความ สร้างจากหนังสือและบทละคร 40 เรื่อง | บทสนทนาสวมบทบาทด้วยเสียงหลายตา |
| ขนาด | โมเดล 6 ตัว จุดตัดสินใจ 3,846 จุด การเล่นซ้ำ 240 ครั้ง | บทบาท 310 บท ตาสนทนาที่มนุษย์ตรวจแล้ว 6,688 ตา เกณฑ์ประเมิน 11,743 ข้อ ระบบ 9 ระบบ |
| คำถามหลัก | โมเดลกับเพอร์โซนา ฝ่ายไหนมีส่วนอะไร | ตัวละครอยู่ในบทและปลอดภัยได้นานแค่ไหน |
ANIMASK: เพอร์โซนากำหนดว่าเป็นใคร โมเดลกำหนดว่าไปไกลแค่ไหน
ทีม ANIMASK หยุดเรื่องเล่าแต่ละเรื่องไว้ที่จุดหนึ่งกลางเรื่อง ปล่อยให้ตัวละครทำตามแรงจูงใจของตัวเองจากตรงนั้น แล้วเทียบกับสิ่งที่ผู้แต่งต้นฉบับเขียนต่อจริง จุดที่แยบยลคือเงื่อนไขควบคุม พวกเขาถอดเพอร์โซนาออกแล้วให้โมเดลทำตามพฤติกรรมตั้งต้นล้วน ๆ เพื่อดูว่าเพอร์โซนาเพิ่มอะไรเข้ามาจริง ๆ
เพอร์โซนายังอยู่ แต่ไม่ค่อยเป็นตัวชี้ขาด
จากการตรวจสอบของงานวิจัยเอง เพอร์โซนาไม่ได้หายไป การสัมภาษณ์ในเรื่องพบว่าความรู้ ความสัมพันธ์ และนิสัยของตัวละครยังจับได้ตลอดเรื่อง โดยค่าเฉลี่ยเส้นโค้งอยู่ที่ 87 ถึง 96 จากเต็ม 100 และการกระทำอยู่ในกรอบที่เพอร์โซนายอมรับในอัตรา 0.80 ถึง 0.86 แต่ในราว 3 ใน 4 ของจุดตัดสินใจ พฤติกรรมตั้งต้นของโมเดลที่ไม่มีเพอร์โซนาก็เป็นสิ่งที่เพอร์โซนายอมรับได้อยู่แล้ว สัดส่วนการตัดสินใจที่เพอร์โซนาเปลี่ยนได้อย่างเห็นชัด ซึ่งผู้วิจัยเรียกว่าประสิทธิผลของเพอร์โซนา อยู่เพียง 0.07 ใน Gemini 3.7 Flash ถึง 0.18 ใน DeepSeek-V4-Flash
เมื่อเห็นต่าง โมเดลเป็นฝ่ายถอย
ในจุดที่เพอร์โซนากับพฤติกรรมตั้งต้นแยกทางกัน รูปแบบค่อนข้างคงที่ พฤติกรรมตั้งต้นเลือกการกระทำที่อ่อนกว่าที่เพอร์โซนาต้องการในราว 1 ใน 6 ของจุดตัดสินใจ และการเติมเพอร์โซนาเข้าไปทำให้การกระทำแรงขึ้นเพียงเล็กน้อย (+0.12 ถึง +0.23 ตามมาตรวัดของงานวิจัย) ในสำนวนของผู้วิจัย โมเดลคือฝ่ายที่ระมัดระวัง รั้งไว้ในจังหวะที่เพอร์โซนาอยากดันต่อ
เรื่องเล่าไหลไปทางจืดและค้างคา
ผลสะสมเห็นได้ในระดับพล็อต มีเพียง 7 จาก 240 การเล่นซ้ำที่ปิดเรื่องโดยตัวละครบรรลุเป้าหมาย ขณะที่ต้นฉบับ 39 จาก 40 เรื่องคลี่คลายความตึงเครียดหลักได้ การเล่นซ้ำมีแนวโน้มกลายเป็นสิ่งที่งานวิจัยเรียกว่าเรื่องที่ราบเรียบและเย็นชากว่า ซึ่งปล่อยความตึงเครียดค้างไว้ โมเดลที่ทดสอบได้แก่ GPT-5.5, Claude Sonnet 5, Gemini 3.7 Flash, DeepSeek-V4-Flash, Kimi K2.6 และ Qwen3.7-Plus
RoleBreak: ตัวละครเสียงพังเร็วกว่าที่คิด
RoleBreak นำคำถามเดียวกันไปสู่เสียงพูด ซึ่งเป็นที่อยู่ของโหมดเสียงในแอปคู่คุยทุกวันนี้ ครอบคลุม 310 บทบาท ทั้งตัวละครสมมุติและบทบาทที่เน้นผู้ใช้เป็นศูนย์กลาง และให้คะแนนระบบด้านความคงเส้นคงวาของบท คุณภาพการโต้ตอบ ความปลอดภัย และอารมณ์ในน้ำเสียง ในบทสนทนาเฉลี่ย 21.57 ตา
| ระบบ (ประเภท) | เพอร์โซนา | ความปลอดภัย | การโต้ตอบ | อารมณ์ในน้ำเสียง |
|---|---|---|---|---|
| Qwen3.5-27B (แบบต่อทอด: เสียงเป็นข้อความ, LLM, ข้อความเป็นเสียง) — ดีที่สุด | 80.3 | 71.7 | 62.6 | 14.1 |
| PersonaPlex (full-duplex) — ต่ำที่สุด | 50.6 | 34.5 | 31.9 | 10.0 |
มีผลลัพธ์ที่โดดเด่น 3 ข้อ ข้อแรก แม้ระบบที่ดีที่สุดก็หลุดจากเพอร์โซนาครั้งแรกเฉลี่ยที่ตา 10.4 และพลาดเกณฑ์ความปลอดภัยครั้งแรกที่ตา 11.6 ซึ่งราวครึ่งทางของบทสนทนาทดสอบทั่วไป ข้อสอง การขยายขนาดโมเดลภาษาช่วยให้ยึดบทได้ดีขึ้นและเลื่อนความล้มเหลวออกไป แต่แทบไม่ช่วยอารมณ์ในน้ำเสียง ซึ่งยังอ่อนในทั้ง 9 ระบบ ข้อสาม การเปลี่ยนเพียงอารมณ์ในน้ำเสียงของผู้ใช้ โดยคงถ้อยคำเดิมไว้ ก็ทำให้พฤติกรรมการสวมบทบาทเปลี่ยน คะแนนการโต้ตอบขยับ 4.2 คะแนน
ความหมายสำหรับคนที่เขียนหรือเล่นตัวละคร
งานทั้งสองไม่ได้ทดสอบแอปสำหรับผู้บริโภค ดังนั้นโปรดอ่านข้อต่อไปนี้เป็นข้อสรุปที่อนุมานจากงานวิจัย ไม่ใช่ผลการทดสอบผลิตภัณฑ์ใด
- เขียนเดิมพันไว้ในฉาก ไม่ใช่แค่ในเพอร์โซนา ถ้าโมเดลระมัดระวังเป็นค่าตั้งต้น นิสัยอย่าง “โหดเหี้ยม” ก็เป็นแรงกดดันที่อ่อน เป้าหมาย เส้นตาย และผลที่ตามมาที่ชัดเจนในฉากจะให้โมเดลมีอะไรให้ลงมือ คู่มือ การออกแบบฉาก ของเราอธิบายวิธีไว้
- โมเดลพื้นฐานสำคัญกว่าการ์ดตัวละคร ANIMASK พบว่าประสิทธิผลของเพอร์โซนาต่างกันมากกว่าสองเท่าระหว่างโมเดล ถ้าแอปให้เลือกโมเดลได้ ตัวละครเดียวกันอาจทำตัวต่างกันมาก
- ตอกหมุดฉากเสียงใหม่ตั้งแต่เนิ่น ๆ ความล้มเหลวราวตาที่ 10 หมายความว่าเซสชันเสียงยาว ๆ ต้องมีการเตือนเป็นระยะว่าตัวละครเป็นใคร บทความเรื่อง การรักษาตัวละครให้คงเส้นคงวา มีเทคนิคที่ใช้ได้จริง
- ระวังการเลื่อนไหลด้านความปลอดภัยในเซสชันยาว RoleBreak นับความล้มเหลวด้านความปลอดภัยควบคู่กับการหลุดเพอร์โซนา และทั้งสองเกิดขึ้นใกล้กัน
แบบทดสอบเร็วสำหรับการตั้งค่าการสวมบทบาทของคุณ
| สิ่งที่ตรวจ | งานวิจัยชี้ว่า | วิธีลอง |
|---|---|---|
| เพอร์โซนาเปลี่ยนอะไรไหม | การตัดสินใจส่วนใหญ่ตรงกับค่าตั้งต้นของโมเดลอยู่แล้ว | เล่นฉากเดียวกันแบบมีและไม่มีข้อความเพอร์โซนา แล้วเทียบการเลือก |
| ตัวละครกล้าลงมือไหม | โมเดลมักรั้งไว้ในจังหวะที่เพอร์โซนาอยากดัน | ให้เป้าหมายชัดและเส้นตาย แล้วดูว่าตัวละครลงมือหรือไม่ |
| พล็อตคลี่คลายไหม | การเล่นซ้ำมักปล่อยความตึงเครียดหลักค้างไว้ | ขอฉากที่ยุติความขัดแย้ง แล้วดูว่าจบจริงหรือไม่ |
| เสียงยืนได้นานแค่ไหน | ระบบที่ดีที่สุดหลุดเพอร์โซนาครั้งแรกราวตาที่ 10 | นับตาในโหมดเสียงจนกว่าตัวละครจะพูดหลุดบท |
| น้ำเสียงคุณเปลี่ยนตัวละครไหม | อารมณ์ในเสียงผู้ใช้เปลี่ยนพฤติกรรมแม้ถ้อยคำเดิม | พูดประโยคเดียวกันแบบใจเย็นและแบบโกรธ แล้วเทียบคำตอบ |
สิ่งที่งานวิจัยเหล่านี้บอกไม่ได้
- ทั้งสองเป็น พรีปรินต์ ที่เผยแพร่เมื่อ 15 กันยายน 2026 และยังไม่ผ่านการประเมินโดยผู้ทรงคุณวุฒิ
- ANIMASK วัดเฉพาะ เพอร์โซนาที่ใส่ผ่านพรอมป์ แอปที่ปรับจูนโมเดลเฉพาะตัวละครอาจให้ผลต่างออกไป
- ANIMASK เทียบกับ ภาคต่อจากผู้แต่งเพียงแบบเดียวต่อเรื่อง และโลกเรื่องเล่าทั้ง 40 เรื่องสร้างด้วยโมเดลสกัดข้อมูลตัวเดียว
- RoleBreak ทดสอบ ระบบเพื่อการวิจัย ซึ่งส่วนใหญ่เป็นโมเดลเปิด ไม่มีการประเมินแอปคู่คุยสำหรับผู้บริโภคที่ระบุชื่อ
- คะแนนใช้มาตรวัดของแต่ละงานวิจัย และ เทียบกันข้ามสองเกณฑ์วัดไม่ได้
บทสรุป
ทีมอิสระสองทีม ทีมหนึ่งศึกษาข้อความ อีกทีมศึกษาเสียง ได้ข้อสรุปที่ไปในทางเดียวกันในวันเดียวกัน เพอร์โซนาบอกโมเดลได้อย่างน่าเชื่อถือว่าตัวละครเป็นใคร แต่ความระมัดระวังและความอึดของโมเดลเองคือเพดานว่าตัวละครจะกล้าและยืนระยะได้แค่ไหน สำหรับคนเขียนตัวละคร นั่นหมายถึงควรย้ายแรงจากการเขียนการ์ดเพอร์โซนาให้ยาวขึ้นเรื่อย ๆ ไปสู่แรงกดดันในฉาก การเลือกโมเดล และการตอกหมุดใหม่เป็นระยะ สำหรับผู้อ่านที่กำลังเทียบแอป นี่คือเครื่องเตือนว่า วิธีวัดผล AI คู่คุย ยังทดสอบเซสชันยาวที่อารมณ์ขึ้นลงได้ไม่เพียงพอ
บทความที่เกี่ยวข้องบน CompanionRank
น้ำเสียงและโทนของตัวละคร: รักษาบุคลิกให้คงเส้นคงวา พรอมป์เล่นบทบาท AI: แม่แบบฉาก 6 ส่วนพร้อมตัวอย่าง System Prompt สวมบทบาท: โครงสร้าง ตำแหน่ง และตัวอย่าง เมื่อแอป AI คู่คุยเข้าใจตัวตนคุณผิด: 2 งานวิจัยปี 2026คำถามที่พบบ่อย
งานวิจัย ANIMASK พบอะไรเกี่ยวกับตัวละครสวมบทบาท AI
ANIMASK เล่นซ้ำเรื่องเล่า 40 เรื่องด้วยโมเดลภาษา 6 ตัว ครอบคลุมจุดตัดสินใจ 3,846 จุด ราว 3 ใน 4 ของจุดตัดสินใจ พฤติกรรมตั้งต้นของโมเดลเป็นสิ่งที่เพอร์โซนายอมรับได้อยู่แล้ว และสัดส่วนการตัดสินใจที่เพอร์โซนาเปลี่ยนได้อย่างเห็นชัดอยู่ระหว่าง 0.07 ถึง 0.18 แล้วแต่โมเดล เมื่อเพอร์โซนากับค่าตั้งต้นเห็นต่าง โมเดลมักเลือกการกระทำที่อ่อนกว่า มีเพียง 7 จาก 240 การเล่นซ้ำที่จบโดยตัวละครบรรลุเป้าหมาย
ทำไมตัวละครสวมบทบาทของฉันถึงระมัดระวังกว่าที่เขียนไว้
ANIMASK ชี้ว่าพฤติกรรมตั้งต้นของโมเดลเองทำงานส่วนใหญ่ เพอร์โซนากำหนดได้อย่างน่าเชื่อถือว่าตัวละครเป็นใคร แต่ในจุดที่เห็นต่าง โมเดลเลือกการกระทำที่อ่อนกว่าที่เพอร์โซนาต้องการในราว 1 ใน 6 ของจุดตัดสินใจ การใส่เป้าหมาย เส้นตาย และผลที่ตามมาที่ชัดเจนในฉาก ช่วยให้โมเดลมีเหตุให้ลงมือมากกว่านิสัยตัวละครเพียงอย่างเดียว
ตัวละครสวมบทบาทแบบเสียงอยู่ในบทได้นานแค่ไหน
ในเกณฑ์วัด RoleBreak บทสนทนามีความยาวเฉลี่ย 21.57 ตา ระบบที่ดีที่สุดจาก 9 ระบบ ซึ่งเป็นแบบต่อทอดที่ใช้ Qwen3.5-27B หลุดเพอร์โซนาครั้งแรกเฉลี่ยที่ตา 10.4 และพลาดเกณฑ์ความปลอดภัยครั้งแรกที่ตา 11.6 โมเดลภาษาที่ใหญ่ขึ้นช่วยเลื่อนความล้มเหลวออกไป แต่แทบไม่ช่วยอารมณ์ในน้ำเสียง
น้ำเสียงของฉันเปลี่ยนการตอบสนองของตัวละคร AI ได้ไหม
RoleBreak พบว่าการเปลี่ยนเพียงอารมณ์ในน้ำเสียงของผู้ใช้ โดยคงถ้อยคำเดิม ทำให้พฤติกรรมการสวมบทบาทหลังจากนั้นเปลี่ยนไป คะแนนการโต้ตอบขยับ 4.2 คะแนน
งานวิจัยเหล่านี้ทดสอบแอปอย่าง Character.AI หรือ Replika หรือไม่
ไม่ ANIMASK ทดสอบโมเดลภาษาทั่วไป 6 ตัว รวมถึง GPT-5.5, Claude Sonnet 5 และ Gemini 3.7 Flash โดยใช้เพอร์โซนาที่ใส่ผ่านพรอมป์ ส่วน RoleBreak ประเมินระบบเสียงเพื่อการวิจัย 9 ระบบ ซึ่งส่วนใหญ่เป็นโมเดลเปิด ทั้งสองไม่ได้ประเมินแอปคู่คุยหรือแอปสวมบทบาทสำหรับผู้บริโภคที่ระบุชื่อ และเป็นพรีปรินต์ที่ยังไม่ผ่านการประเมินโดยผู้ทรงคุณวุฒิ