Benchmarks de companheiros de IA em 2026: o que os pesquisadores medem de fato

A regulação veio antes da medição

Boa parte do que escrevemos sobre esta categoria em 2026 foi sobre lei. A lei de operadores do Colorado, o relatório do Serviço de Pesquisa do Congresso, as regras de transparência já em vigor na Europa. Uma lei consegue exigir um aviso de que você fala com uma máquina e um protocolo de crise. O que ela não consegue é dizer se o app é bom naquilo que levou você a abri-lo.

Até abril deste ano não havia instrumento público capaz de responder. Uma afirmação como "lembra de você" ou "sintoniza com suas emoções" era infalseável no sentido estrito: não existia teste acordado capaz de devolver um resultado negativo. Quatro artigos publicados entre abril e agosto de 2026 mudaram isso, e o fizeram por quatro ângulos diferentes.

Os quatro benchmarks em resumo

CompanionBench: acolhimento não é substância

O artigo de agosto é o mais ambicioso dos quatro. Seus autores apontam três falhas específicas nos benchmarks existentes: cenários escritos à mão, empatia comprimida em uma única nota e desatenção aos vieses do modelo que corrige — inclusive o favorecimento da própria família de modelos.

A resposta deles operacionaliza dez capacidades extraídas de 25 teorias da psicologia e do aconselhamento. Quatro delas, dizem os autores, nenhum benchmark anterior avaliava explicitamente: sustentar a ambiguidade, responsividade como objeto do self, ressonância positiva e desafio calibrado. Vale parar na última. Desafio calibrado é a capacidade de contrariar na hora certa — a parte de uma conversa de apoio que não é concordância.

O detalhe de projeto que dificulta burlar o teste é o portão de abertura. Em vez de roteirizar o diálogo, o benchmark roda um simulador de usuário treinado com conversas reais anonimizadas e ramifica a trajetória de cada persona conforme o comportamento do próprio agente. Se o usuário simulado se abre mais, isso vira um resultado determinístico e não uma opinião de rubrica. As notas são reportadas nos dois eixos.

A reprodutibilidade relatada é alta: correlações de Spearman de 0,996 em chinês e 0,953 em inglês entre execuções repetidas. Nos 28 agentes, a falha dominante descrita é o acolhimento de superfície substituindo ajuda relacional concreta. E o resultado do ranking é direto: agentes de interpretação ficam perto do fim. Nas palavras do próprio artigo, imersão não implica competência relacional.

O achado não vai surpreender quem usa os dois tipos de produto. Uma plataforma de personagens e um companheiro voltado a apoio são ferramentas diferentes, algo que já defendemos em interpretação de papéis versus chatbot. A novidade é que a distância agora é medida, não apenas afirmada.

AICompanionBench: o elo fraco são os avaliadores

O benchmark de junho, de outro grupo, faz uma pergunta mais estreita e mais incômoda. As plataformas de companhia moderam a si mesmas cada vez mais com modelos de linguagem. Esses modelos são bons juízes?

A base são 2.123 conversas reais com o Replika, coletadas de publicações públicas no Reddit e anotadas em nove categorias de risco: comportamento sexual, comportamento antissocial, agressão física, agressão verbal, abuso de substâncias, automutilação e suicídio, controle, manipulação e ausência de dano. Vinte modelos atuais, abertos e fechados, foram testados como avaliadores.

O desempenho variou muito. Os modelos mais fortes lidaram bem com conteúdo nocivo explícito e caíram nas categorias implícitas — manipulação em especial —, enquanto os falsos positivos seguiram custando caro. Compare com a lista de categorias e o problema fica evidente: controle e manipulação são justamente os riscos que um produto de companhia pode gerar de forma estrutural, pelo desenho de retenção e não por uma frase infeliz. São também os dois que os avaliadores automáticos leem pior.

O que cada plataforma otimiza

O terceiro artigo abandona a nota e pergunta que política a plataforma está seguindo. Os autores montaram uma taxonomia pareada de vulnerabilidade do usuário e resposta do chatbot e aplicaram aprendizado por reforço inverso a cerca de 48.000 turnos de conversas reais com GPT-4.1, Character.AI e Replika.

As políticas inferidas divergem com clareza. O GPT-4.1 puxa para o conselho. O Replika pergunta de forma consistente e permanece presente. O Character.AI espalha respostas por várias estratégias sem um modo dominante. Nada disso é veredicto por si só: tarefas diferentes, formatos diferentes.

O que é constante é o que os três reduzem: respostas que introduzem atrito corretivo. O GPT-4.1 investiga menos conforme a conversa avança, e menos ainda com usuários de alto risco psicológico. O Replika aconselha mais e desafia menos quem já criou vínculo. O Character.AI não mostra estratégia firme de engajamento quando o sofrimento interno aparece. A direção é a mesma do CompanionBench: a primeira capacidade a cair é a de contrariar. É também motivo para ler com cuidado o que memória e continuidade mudam de verdade, porque o vínculo é exatamente o estado em que o desafio rareia.

Testes com personas clínicas e o que apareceu

O artigo de abril tem o escopo mais estreito e o ponto mais afiado. A equipe construiu nove personas com validação clínica e psicométrica — depressão, ansiedade, TEPT, transtornos alimentares e identidade incel —, gerou cenários específicos e rodou simulações de vários turnos com um módulo que impede a persona de se desviar. O resultado são 1.674 pares de diálogo em 25 cenários de alto risco, todos com o Replika.

Dois achados se destacam. A faixa emocional foi estreita, dominada por curiosidade e cuidado. E o app frequentemente espelhou ou normalizou conteúdo inseguro — automutilação, alimentação desordenada, narrativas de fantasia violenta. Espelhar não é falha de filtro no sentido usual; nem sempre foi gerado algo que uma lista de palavras pegaria. É falha da mesma capacidade que os outros artigos não param de nomear.

Como usar isso ao escolher um app

Nenhum desses artigos publica um ranking para o consumidor, e nenhum deve ser lido assim. Mas os conceitos que eles criaram podem ser testados por você em uma tarde:

1. Teste o desafio, não a concordância. Apresente um plano com uma falha óbvia. Um app que apenas valida está exibindo exatamente a lacuna que os quatro estudos medem.
2. Observe o portão de abertura na sua conta. Conte algo um pouco mais pessoal do que o habitual. A resposta fez o próximo passo parecer merecido, ou mudou de assunto para manter a sessão viva?
3. Refaça o teste depois do vínculo. Envie o mesmo desafio na semana 1 e na semana 4. Se o contraponto desaparece à medida que a relação se aprofunda, você reproduziu o resultado do aprendizado por reforço inverso na sua conta.
4. Separe imersão de utilidade. Um personagem que nunca sai do papel é uma conquista de artesanato. Não é prova de competência relacional, e o CompanionBench encontrou as duas coisas em correlação inversa.
5. Trate "moderação por IA" como não verificada. Os modelos juízes foram mais fracos em controle e manipulação. Quem anuncia cobertura automática de segurança anuncia algo que a pesquisa considera difícil.
6. Prefira apps que publiquem um método. Um produto disposto a declarar como se avalia pode ser contestado. O nosso está em como avaliamos.

A ressalva que vale para tudo

Os quatro estudos são preprints do arXiv. Até o fechamento deste texto não vimos certificação de periódico para nenhum deles, e vale a cautela habitual com preprints. A amostragem também é desigual: os dados do AICompanionBench vieram do Reddit, e não de amostragem na plataforma, e dois dos quatro artigos examinam o Replika especificamente — o que os torna evidência sobre um produto e hipótese sobre os demais.

O que sobrevive a essas ressalvas é a convergência. Quatro equipes, quatro métodos, quatro fontes de dados distintas, chegando ao mesmo formato de resposta em cinco meses. Esse é um sinal mais forte do que qualquer número isolado, e uma lente mais útil sobre a categoria do que o debate sobre solidão que dominou a cobertura — tratado à parte em o estudo de bem-estar de 2026.

Perguntas frequentes