Dos benchmarks, una pregunta: ¿cuánto del personaje es tuyo?
La mayoría de los estudios sobre apps de compañía se preguntan si ayudan o perjudican a quienes las usan. Estos dos trabajos plantean algo más acotado, pero clave para cualquiera que escriba personajes: cuando le das una persona a un modelo, ¿qué controla realmente esa persona?
| ANIMASK | RoleBreak | |
|---|---|---|
| Publicación | 15 de septiembre de 2026 (arXiv:2609.16667) | 15 de septiembre de 2026 (arXiv:2609.16614) |
| Equipo | New York University, NYU Abu Dabi, McGill University, MBZUAI | The University of Hong Kong, Kami AI |
| Escenario | Mundos narrativos de texto creados a partir de 40 libros y guiones | Diálogo de rol hablado y de varios turnos |
| Escala | 6 modelos, 3.846 puntos de decisión, 240 reproducciones | 310 papeles, 6.688 turnos verificados por personas, 11.743 criterios de evaluación, 9 sistemas |
| Pregunta central | Qué aporta el modelo frente a la persona | Cuánto tiempo se mantiene el personaje en su papel y de forma segura |
ANIMASK: la persona fija quién, el modelo fija hasta dónde
El equipo de ANIMASK congeló cada historia en un punto intermedio, dejó que los personajes actuaran según sus propias motivaciones a partir de ahí y comparó el resultado con lo que el autor original escribió después. Lo ingenioso es la condición de control: también retiraron la persona y dejaron actuar al modelo solo con su comportamiento por defecto, para ver qué añadía de verdad la persona.
La persona está presente, pero rara vez decide
Según las propias comprobaciones del artículo, la persona no se perdía. Entrevistas dentro de la historia mostraron que los conocimientos, relaciones y rasgos del personaje seguían siendo reconocibles de principio a fin, con medias de curva de entre 87 y 96 sobre 100, y las acciones se mantuvieron dentro de lo que la persona aceptaba en tasas de 0,80 a 0,86. Sin embargo, en aproximadamente tres de cada cuatro puntos de decisión, la opción por defecto del modelo sin persona ya era aceptable para la persona. La proporción de decisiones que la persona cambió de forma demostrable — lo que los autores llaman eficacia de la persona — fue de apenas 0,07 con Gemini 3.7 Flash a 0,18 con DeepSeek-V4-Flash.
Cuando discrepan, el modelo se contiene
Allí donde persona y comportamiento por defecto divergían, el patrón fue constante: el comportamiento por defecto eligió una acción más débil de la que pedía la persona en aproximadamente uno de cada seis puntos de decisión, y añadir la persona solo hizo las acciones algo más fuertes (+0,12 a +0,23 en la escala del artículo). En palabras de los autores, el modelo es el prudente: se frena donde la persona empujaría.
Las historias derivan hacia lo plano y lo abierto
El efecto acumulado se ve en la trama. Solo 7 de las 240 reproducciones cerraron con el objetivo del personaje cumplido, mientras que 39 de los 40 textos originales resuelven su tensión central. Las reproducciones tendieron hacia lo que el artículo describe como historias más planas y frías que dejan sus tensiones abiertas. Los modelos probados fueron GPT-5.5, Claude Sonnet 5, Gemini 3.7 Flash, DeepSeek-V4-Flash, Kimi K2.6 y Qwen3.7-Plus.
RoleBreak: los personajes de voz se rompen antes de lo que crees
RoleBreak traslada la pregunta al habla, donde hoy viven las funciones de modo voz de las apps de compañía. Abarca 310 papeles, tanto personajes de ficción como papeles centrados en el usuario, y puntúa los sistemas en coherencia de papel, calidad de la interacción, seguridad y emoción vocal en diálogos de 21,57 turnos de media.
| Sistema (tipo) | Persona | Seguridad | Interacción | Emoción vocal |
|---|---|---|---|---|
| Qwen3.5-27B (en cascada: voz a texto, LLM, texto a voz) — el mejor | 80,3 | 71,7 | 62,6 | 14,1 |
| PersonaPlex (full-duplex) — el más bajo | 50,6 | 34,5 | 31,9 | 10,0 |
Destacan tres resultados. Primero, incluso el mejor sistema se salió de la persona por primera vez en el turno 10,4 y falló un criterio de seguridad por primera vez en el 11,6, de media: más o menos a mitad de un diálogo de prueba típico. Segundo, ampliar el modelo de lenguaje mejoró la fidelidad al papel y retrasó esos fallos, pero apenas ayudó a la emoción vocal, que siguió siendo débil en los nueve sistemas. Tercero, cambiar solo la carga emocional de la voz del usuario, con las mismas palabras, alteró el comportamiento de rol: las puntuaciones de interacción variaron 4,2 puntos.
Qué significa si escribes o juegas personajes
Ninguno de los dos artículos probó apps de consumo, así que toma lo siguiente como inferencias razonadas, no como hallazgos sobre ningún producto.
- Pon lo que está en juego en el escenario, no solo en la persona. Si el modelo es prudente por defecto, un rasgo como “despiadado” es poca presión. Objetivos, plazos y consecuencias concretos dentro de la escena le dan al modelo algo sobre lo que actuar. Nuestra guía de diseño de escenarios explica cómo.
- El modelo base pesa más que la ficha. ANIMASK encontró que la eficacia de la persona variaba más del doble entre modelos. Si una app te deja elegir modelo, el mismo personaje puede comportarse de forma muy distinta.
- Reancla pronto las escenas de voz. Un fallo hacia el turno 10 significa que las sesiones largas por voz necesitan recordatorios periódicos de quién es el personaje. Nuestro artículo sobre mantener un personaje coherente recoge técnicas prácticas.
- Vigila la deriva de seguridad en sesiones largas. RoleBreak cuenta los fallos de seguridad junto con los de persona, y ambos llegaron casi a la vez.
Una prueba rápida para tu configuración de rol
| Comprobación | Lo que sugiere la investigación | Cómo probarlo |
|---|---|---|
| ¿La persona cambia algo? | La mayoría de decisiones ya coincide con el modelo por defecto | Ejecuta la misma escena con y sin el texto de la persona y compara las decisiones |
| ¿El personaje llega a actuar? | Los modelos tienden a frenarse donde la persona empujaría | Dale un objetivo claro y un plazo, y mira si el personaje actúa |
| ¿La trama llega a resolverse? | Las reproducciones solían dejar abierta la tensión central | Pide una escena que cierre un conflicto y comprueba si de verdad se cierra |
| ¿Cuánto aguanta la voz? | Primera ruptura de persona hacia el turno 10 en el mejor sistema | Cuenta los turnos en modo voz hasta que el personaje diga algo fuera de papel |
| ¿Tu tono cambia al personaje? | La emoción vocal del usuario alteró la conducta con las mismas palabras | Di la misma frase con calma y con enfado y compara las respuestas |
Lo que estos estudios no pueden decirte
- Ambos son preprints publicados el 15 de septiembre de 2026 y no han completado la revisión por pares.
- ANIMASK solo mide personas instaladas mediante el prompt. Las apps que ajustan el modelo a un personaje podrían comportarse de otra forma.
- ANIMASK compara con una única continuación del autor por historia, y un solo modelo de extracción construyó los 40 mundos.
- RoleBreak prueba sistemas de investigación, en su mayoría modelos abiertos; no se evaluó ninguna app de compañía de consumo concreta.
- Las puntuaciones usan la escala propia de cada artículo y no son comparables entre ambos benchmarks.
Conclusión
Dos equipos independientes, uno en texto y otro en voz, llegaron el mismo día a conclusiones compatibles: la persona le dice al modelo con fiabilidad quién es el personaje, pero la propia prudencia y resistencia del modelo marcan el techo de cuán audaz y cuán duradero será. Para quien escribe personajes, eso desplaza el esfuerzo desde fichas de persona cada vez más largas hacia la presión del escenario, la elección del modelo y el reanclaje periódico. Para quien compara apps, recuerda que la forma de evaluar la IA de compañía sigue dejando poco probadas las sesiones largas y con altibajos emocionales.
Relacionado en CompanionRank
Voz y tono del personaje: cómo mantener un personaje consistente Prompts de rol con IA: plantilla de escenario en 6 piezas Prompt de sistema para rol: estructura, reglas y ejemplos Identidad y apps de compañía con IA: dos estudios de 2026Preguntas frecuentes
¿Qué descubrió el estudio ANIMASK sobre los personajes de rol con IA?
ANIMASK reprodujo 40 historias con seis modelos de lenguaje en 3.846 puntos de decisión. En aproximadamente tres de cada cuatro puntos, el comportamiento por defecto del modelo ya era aceptable para la persona, y la proporción de decisiones que la persona cambió de forma demostrable osciló entre 0,07 y 0,18 según el modelo. Cuando persona y comportamiento por defecto discrepaban, el modelo tendía a elegir la acción más débil. Solo 7 de 240 reproducciones terminaron con el objetivo del personaje cumplido.
¿Por qué mi personaje de rol actúa con más cautela de la que escribí?
ANIMASK sugiere que el comportamiento por defecto del propio modelo hace la mayor parte del trabajo. La persona define con fiabilidad quién es el personaje, pero en los puntos de desacuerdo el modelo eligió una acción más débil de la que pedía la persona en aproximadamente uno de cada seis puntos de decisión. Dar a la escena objetivos, plazos y consecuencias concretos le ofrece al modelo más con qué actuar que un simple rasgo de personalidad.
¿Cuánto tiempo se mantienen en su papel los personajes de rol por voz?
En el benchmark RoleBreak, los diálogos duraron 21,57 turnos de media. El mejor de los nueve sistemas, una configuración en cascada basada en Qwen3.5-27B, rompió la persona por primera vez en el turno 10,4 y falló un criterio de seguridad por primera vez en el 11,6, de media. Los modelos de lenguaje más grandes retrasaron estos fallos, pero apenas mejoraron la emoción vocal.
¿El tono de mi voz cambia cómo responde un personaje de IA?
RoleBreak encontró que cambiar solo la carga emocional de la voz del usuario, manteniendo las mismas palabras, modificó el comportamiento de rol posterior, con variaciones de 4,2 puntos en las puntuaciones de interacción.
¿Estos estudios probaron apps como Character.AI o Replika?
No. ANIMASK probó seis modelos de lenguaje generales, entre ellos GPT-5.5, Claude Sonnet 5 y Gemini 3.7 Flash, con personas definidas en el prompt. RoleBreak evaluó nueve sistemas de voz de investigación, en su mayoría modelos abiertos. Ninguno evaluó una app de compañía o de rol concreta para consumidores, y ambos son preprints que no han completado la revisión por pares.