O Erro Que Se Multiplica

A cena é familiar. Você pergunta algo para o ChatGPT, ele responde com confiança, e a resposta contém um detalhe errado. Um número que não bate, uma data inventada, uma premissa que não se sustenta. Você não percebe, ou percebe mas deixa passar, e segue a conversa. Três mensagens depois, o que era um erro isolado já virou alicerce: cada resposta nova é construída sobre aquela primeira informação falsa, e nenhuma delas vai te avisar disso. Isso não é impressão sua, e não é azar com o seu modelo preferido. É um comportamento estrutural, medido em escala, que a comunidade de pesquisa começou a quantificar com precisão em 2025 e 2026. O paper 'LLMs Get Lost in Multi-Turn Conversation', de Philippe Laban e colegas, premiado como outstanding paper no ICLR 2026, simulou mais de 200 mil conversas com 15 modelos de oito provedores diferentes, e o resultado foi contundente: queda média de 39% na precisão quando a mesma tarefa é resolvida em conversa de vários turnos em vez de um único prompt ^[1][2].

Os números do labirinto

A degradação atinge todo mundo, sem exceção. O GPT-4.1 caiu de 91,7% para 70,7% de precisão. O Claude 3.7 Sonnet, de 85,4% para 70,0%. O Gemini 2.5 Pro, de 90,2% para 64,3%. Modelos maiores e mais caros não mostraram vantagem significativa na resistência ao problema: a queda é estrutural, não uma deficiência de capacidade ^[2]. E o detalhe mais perigoso para quem opera IA em produção: a queda de aptidão média foi de 16%, mas a confiabilidade despencou 112%. Ou seja, o modelo não ficou só um pouco pior, ele ficou errático. A mesma tarefa pode sair brilhante numa tentativa e completamente errada na seguinte ^[2]. Os pesquisadores fizeram um experimento de controle que elimina a explicação óbvia. Quando a mesma informação, antes dividida em vários turnos, era concatenada numa única mensagem, a performance recuperava 95% do baseline de turno único ^[2]. O problema não é a quantidade de informação nem o tamanho do contexto. É o padrão de interação em múltiplos turnos. A conversa em si é o vilão.

Quatro formas de se perder

• Resposta prematura: o modelo gera resposta completa nos primeiros 20% da conversa, quando ainda tem pouca informação. Precisão de 30,9% contra 64,4% quando espera mais contexto.
• Inchaço de resposta: as respostas crescem com o tempo (código saiu de ~700 para ~1.400 caracteres) porque o modelo vai acrescentando por cima do que já escreveu, em vez de recomeçar. Respostas mais curtas venceram as longas em 10 a 50% das tarefas.
• Efeito lost-in-middle: o modelo presta atenção principalmente no início e no fim da conversa. Citações a informações do meio caíram para menos de 20%. O dado crítico que você passou na mensagem 4 de 12 foi efetivamente ignorado.
• Erro cumulativo sem recuperação: uma vez que o modelo assume algo errado no começo, ele não se autocorrige. Cada turno seguinte herda e amplifica o desvio, sem nunca sinalizar que algo saiu dos trilhos.

When LLMs take a wrong turn in a conversation, they get lost and do not recover. (Quando LLMs erram o caminho numa conversa, eles se perdem e não se recuperam.)

- Laban et al., LLMs Get Lost in Multi-Turn Conversation [1]

Por que o erro vira premissa

A explicação técnica é simples e desconfortável. Um modelo de linguagem é autoregressivo: cada token gerado entra no histórico e vira insumo para o próximo. Dentro da janela de contexto, o modelo não distingue o que ele confirmou do que ele inventou. Tudo o que está no histórico, incluindo a resposta errada dele mesmo, é tratado como verdade estabelecida. Pesquisas sobre cascata de alucinação mostram o mesmo fenômeno propagando entre agentes: a saída alucinada de um modelo contamina a entrada do seguinte, e a incerteza se acumula ao longo da cadeia ^[3]. Não é o modelo sendo desonesto. É a arquitetura fazendo exatamente o que foi projetada para fazer: continuar o texto de forma plausível.

Sua jogada

A boa notícia é que o próprio paper testou mitigações. A técnica de 'recap', em que o modelo resume toda a informação acumulada antes de gerar a resposta final, elevou o GPT-4o-mini de 50,4% para 66,5% ^[2]. Não fecha o gap, mas prova que intervenção explícita funciona melhor do que esperar bom comportamento. Na prática, isso se traduz em hábitos simples de conversa e em desenho de fluxo:

• Pare e mande: revise a resposta anterior e aponte o que não consegue confirmar. Força o modelo a olhar para a própria fundação em vez de continuar construindo.
• Peça recap antes de decisões: antes de fechar uma análise ou gerar um artefato longo, faça o modelo consolidar tudo que foi dito até ali. Ataca o lost-in-middle e o erro cumulativo de uma vez.
• Prefira recomeço a correção: em vez de pedir para ajustar a resposta anterior, cole o contexto correto e peça uma resposta nova. Respostas curtas e recentes vencem respostas longas e emendadas.
• Valide o primeiro andar: o erro mais caro é sempre o mais antigo. Revise a primeira resposta substancial da conversa com mais desconfiança que a última.
• Para agentes automatizados, o mesmo vale em arquitetura: gates de validação externos e checkpoints entre etapas, porque o modelo não vai sinalizar o próprio desvio [2][3].

A régua prática fica assim: trate cada conversa longa com IA como uma estrutura empilhada, onde a qualidade da primeira camada determina a de todas as outras. IA não substitui processo de verificação, ela amplifica o processo que já existe. Se o seu processo é confiar no texto bonito, o erro se multiplica em silêncio. Se o seu processo é revisar a fundação antes de subir o próximo andar, a ferramenta inteira rende mais. A diferença entre os dois cenários não está no modelo. Está em você.