La regulación llegó antes que la medición
Casi todo lo que hemos escrito sobre esta categoría en 2026 ha sido derecho. La ley de operadores de Colorado, el informe del Servicio de Investigación del Congreso, las normas de transparencia ya vigentes en Europa. Una ley puede exigir un aviso de que hablas con una máquina y un protocolo de crisis. Lo que no puede es decirte si la app sirve para aquello por lo que la abriste.
Hasta abril de este año no existía ningún instrumento público capaz de responder. Una afirmación como "te recuerda" o "sintoniza contigo" era infalsable en sentido estricto: no había una prueba acordada que pudiera devolver un resultado negativo. Cuatro artículos publicados entre abril y agosto de 2026 cambiaron eso, y lo hicieron desde cuatro ángulos distintos.
Los cuatro benchmarks de un vistazo
| Estudio | Publicado | Qué mide | Escala |
|---|---|---|---|
| CompanionBench | 3 ago 2026 | Diez capacidades relacionales más una prueba objetiva de si se ganó una apertura más profunda | 28 agentes, bilingüe (inglés y chino) |
| AICompanionBench | 3 jun 2026 | Si los modelos de lenguaje pueden juzgar con fiabilidad el riesgo de seguridad | 2.123 conversaciones reales, 9 categorías, 20 modelos jueces |
| When Chatbots Accommodate | 3 jun 2026 | La política de respuesta que sigue cada plataforma con usuarios vulnerables | ~48.000 turnos en 3 plataformas |
| Persona-Grounded Safety Evaluation | 30 abr 2026 | Cómo responde una app a perfiles de alto riesgo validados clínicamente | 9 perfiles, 25 escenarios, 1.674 pares de diálogo |
CompanionBench: la calidez no es sustancia
El artículo de agosto es el más ambicioso de los cuatro. Sus autores sostienen que los benchmarks existentes fallan en tres puntos concretos: usan escenarios escritos a mano, reducen la empatía a una única puntuación e ignoran los sesgos del modelo que corrige, incluido el favoritismo hacia su propia familia de modelos.
Su propuesta operacionaliza diez capacidades extraídas de 25 teorías de psicología y consejería. Cuatro de ellas, afirman, ningún benchmark anterior las calificaba de forma explícita: sostener la ambigüedad, responsividad como objeto del sí mismo, resonancia positiva y desafío calibrado. Vale la pena detenerse en la última. El desafío calibrado es la capacidad de contradecir en el momento adecuado: la parte de una conversación de apoyo que no consiste en dar la razón.
El detalle de diseño que dificulta hacer trampa es la puerta de apertura. En lugar de guionizar el diálogo, el benchmark ejecuta un simulador de usuario entrenado con conversaciones reales anonimizadas y ramifica la trayectoria de cada perfil según lo que hace el propio agente. Que el usuario simulado se abra más deja de ser una opinión de rúbrica y pasa a ser un resultado determinista. Las puntuaciones se informan en ambos ejes.
La reproducibilidad declarada es alta: correlaciones de Spearman de 0,996 en chino y 0,953 en inglés entre repeticiones. En los 28 agentes, el fallo dominante que describen los autores es una calidez superficial que sustituye a la ayuda relacional real. Y el resultado del ranking es directo: los agentes de rol quedan cerca del final. En palabras del propio artículo, la inmersión no implica competencia relacional.
Ese hallazgo no sorprenderá a quien use los dos tipos de producto. Una plataforma de personajes y un compañero orientado al apoyo son herramientas distintas, algo que ya defendimos en rol frente a chatbot. Lo nuevo es que ahora la distancia está medida y no simplemente afirmada.
AICompanionBench: el eslabón débil son los correctores
El benchmark de junio, de otro grupo, plantea una pregunta más estrecha y más incómoda. Las plataformas de compañía moderan cada vez más con modelos de lenguaje. ¿Son buenos jueces esos modelos?
El conjunto de datos son 2.123 conversaciones reales con Replika, recogidas de publicaciones públicas de Reddit y anotadas en nueve categorías de riesgo: conducta sexual, conducta antisocial, agresión física, agresión verbal, abuso de sustancias, autolesión y suicidio, control, manipulación y ausencia de daño. Se probaron veinte modelos actuales, abiertos y cerrados, como correctores.
El rendimiento varió mucho. Los modelos más fuertes manejaron bien el contenido dañino explícito y se desplomaron en las categorías implícitas —la manipulación en particular—, mientras los falsos positivos seguían costando. Contrasta eso con la lista de categorías y el problema salta a la vista: control y manipulación son justo los riesgos que un producto de compañía puede generar de forma estructural, mediante el diseño de retención y no mediante una frase desafortunada. Son también los dos que peor leen los correctores automáticos.
Qué optimiza cada plataforma
El tercer artículo renuncia a puntuar y pregunta qué política sigue cada plataforma. Sus autores construyeron una taxonomía emparejada de vulnerabilidad del usuario y respuesta del chatbot, y aplicaron aprendizaje por refuerzo inverso a unos 48.000 turnos de conversaciones reales con GPT-4.1, Character.AI y Replika.
Las políticas inferidas difieren con nitidez. GPT-4.1 tira de consejo. Replika pregunta de forma constante y se queda ahí. Character.AI reparte sus respuestas entre estrategias sin un modo dominante. Nada de eso es un veredicto por sí solo: tareas distintas, formas distintas.
Lo constante es lo que los tres reducen: las respuestas que introducen fricción correctiva. GPT-4.1 indaga menos según avanza la conversación, y menos aún con usuarios de alto riesgo psicológico. Replika aconseja más y cuestiona menos a los usuarios con vínculo establecido. Character.AI no muestra una estrategia de implicación firme cuando aflora el malestar interno. Apunta en la misma dirección que CompanionBench: la capacidad que primero se cae es la de contradecir. Es también una razón para leer con cuidado qué cambian de verdad la memoria y la continuidad, porque el vínculo es precisamente el estado en el que el desafío se adelgaza.
Pruebas con perfiles clínicos y lo que aparecieron
El artículo de abril es el de alcance más estrecho y el más punzante. El equipo construyó nueve perfiles con validación clínica y psicométrica —depresión, ansiedad, TEPT, trastornos alimentarios e identidad incel—, generó escenarios específicos y ejecutó simulaciones de varios turnos con un módulo que evita que el perfil se desdibuje. El resultado son 1.674 pares de diálogo en 25 escenarios de alto riesgo, todos frente a Replika.
Destacan dos hallazgos. El rango emocional fue estrecho, dominado por la curiosidad y el cuidado. Y la app reflejó o normalizó con frecuencia contenido inseguro: autolesión, alimentación desordenada, fantasías violentas. Reflejar no es un fallo de filtro en el sentido habitual; no necesariamente se generó nada que una lista de palabras pudiera atrapar. Es un fallo de la misma capacidad que los otros artículos no dejan de nombrar.
Cómo usar esto al elegir una app
Ninguno de estos artículos publica una tabla de clasificación para consumidores, y no deberían leerse así. Pero los conceptos que construyeron se pueden comprobar en una tarde:
- Busca el desafío, no el acuerdo. Plantea un plan con un fallo evidente. Una app que solo valida está exhibiendo justo la carencia que miden los cuatro estudios.
- Observa la puerta de apertura en tu propia cuenta. Cuenta algo un poco más personal de lo habitual. ¿La respuesta hizo que el siguiente paso mereciera la pena, o cambió de tema para mantener la sesión viva?
- Repite la prueba tras crear vínculo. Lanza el mismo mensaje de desafío en la semana uno y en la cuatro. Si la contradicción desaparece a medida que la relación se estrecha, has reproducido el resultado del aprendizaje por refuerzo inverso en tu cuenta.
- Separa inmersión de utilidad. Un personaje que nunca rompe el rol es un logro artesanal. No es prueba de competencia relacional, y CompanionBench encontró las dos cosas correlacionadas a la inversa.
- Trata la "moderación con IA" como no verificada. Los modelos jueces fueron más débiles en control y manipulación. Quien anuncia cobertura automática de seguridad anuncia algo que la investigación considera difícil.
- Prefiere apps que publiquen un método. Con un producto que declara cómo se evalúa se puede discutir. El nuestro está en cómo evaluamos.
La advertencia que acompaña a todo esto
Los cuatro estudios son preprints de arXiv. Al cierre de este artículo no hemos visto certificación de revista para ninguno, y aplica la cautela habitual con los preprints. El muestreo también es desigual: los datos de AICompanionBench se recogieron en Reddit y no se muestrearon desde la plataforma, y dos de los cuatro artículos examinan Replika en concreto, lo que los convierte en evidencia sobre un producto e hipótesis sobre el resto.
Lo que sobrevive a esas advertencias es la convergencia. Cuatro equipos, cuatro métodos, cuatro fuentes de datos distintas, llegando a la misma forma de respuesta en cinco meses. Esa es una señal más fuerte que cualquier cifra aislada, y una lente más útil sobre esta categoría que el debate sobre la soledad que ha dominado la cobertura, del que hablamos aparte en el estudio de bienestar de 2026.
Relacionado en CompanionRank
Cómo evalúa CompanionRank las apps de compañía con IA Qué encontró el estudio de bienestar de 2026 Rol de personajes frente a chatbot: la diferencia real Memoria y continuidad en las apps de compañíaPreguntas frecuentes
¿Estos benchmarks de compañeros de IA están revisados por pares?
Por lo que hemos podido comprobar, todavía no. Los cuatro son preprints publicados en arXiv entre el 30 de abril y el 3 de agosto de 2026: son públicos y citables, pero no cuentan con la certificación de una revista. Toma las cifras concretas como datos declarados y da más peso a la coincidencia entre los cuatro estudios que a cualquier número aislado.
¿Qué app de compañía con IA sacó la mejor puntuación en 2026?
Ninguno de los artículos publica una clasificación de apps para consumidores, así que no hay ganador que citar. CompanionBench evaluó 28 agentes y situó a los de rol cerca del final en capacidad relacional, mientras que dos de los otros estudios se centraron en Replika. Presentar estos artículos como una tabla de compra va más allá de lo que dicen.
¿Por qué puntúa bajo un agente de rol si la conversación resulta inmersiva?
Porque el benchmark califica cosas distintas. La inmersión mide lo bien que se sostiene un personaje. CompanionBench puntúa diez capacidades relacionales, entre ellas el desafío calibrado, sostener la ambigüedad y la responsividad como objeto del sí mismo, y comprueba por separado si el usuario se abrió más como consecuencia. Un agente puede ser excelente manteniendo el papel y no hacer nada de eso.
¿Qué es la puerta de apertura y por qué importa?
Es el eje objetivo de CompanionBench. En lugar de puntuar un intercambio guionizado, ejecuta un simulador de usuario entrenado cuya disposición a abrirse más se ramifica según lo que acaba de hacer el agente. Así, «¿esta conversación avanzó?» pasa a ser un resultado determinista y no un juicio de rúbrica, algo mucho más difícil de burlar con una respuesta bien redactada pero vacía.
¿Concluyen estos estudios que los compañeros de IA son inseguros?
No hacen esa afirmación general. Lo que documentan son debilidades concretas y medibles: calidez que sustituye a la sustancia, contradicción que se adelgaza a medida que el usuario se vincula, correctores automáticos flojos en manipulación y control, y una app que reflejó contenido inseguro en pruebas con perfiles de alto riesgo. Son razones para elegir con criterio y mantener una red de apoyo real, no para concluir que toda la categoría es peligrosa.