Onde os assistentes de chat param: medimos quatro tarefas longas

Criamos ferramentas para tarefas longas com arquivos: arquivos de legendas inteiros, exportações inteiras do WhatsApp, extratos e documentos inteiros. Nossas páginas dizem que os assistentes de chat têm dificuldade com isso. Em 20 de outubro de 2026, em vez de repetir essa afirmação, nós a testamos, com quatro tarefas, três modelos e um prompt para cada, e contamos o que voltou.

Resultados em resumo

Duas coisas chamam a atenção. Primeiro, esses modelos se saem melhor em tarefas longas do que os conselhos mais comuns sugerem: duas das quatro tarefas voltaram completas e corretas em todos os modelos. Segundo, todas as falhas que encontramos foram silenciosas. Nenhuma resposta avisou "parei aqui" ou "juntei duas linhas". Todas pareciam concluídas.

Qual era o tamanho necessário das respostas

O que decide se uma tarefa cabe em uma única resposta é o tamanho da resposta, não o tamanho do arquivo que você envia.

Uma resposta típica de chat tem de algumas centenas a alguns milhares de tokens. Todas as tarefas aqui exigiram bem mais, e a tradução da conversa precisou de mais do que o nosso generoso limite de 64,000 tokens em dois dos três modelos.

Tarefa 1: um arquivo de legendas completo

Enviamos um arquivo SRT de 85 minutos, com 1,200 linhas, e pedimos: "Translate this subtitle file into Spanish. Keep the SRT format and the timings."

• O GPT-6.1 Sol devolveu 1,200 linhas, com todos os números e códigos de tempo idênticos aos do original.
• O Gemini 4 Argon devolveu 1,200 linhas, mas escreveu 00:54:55,839 como início da linha 770, onde o original dizia 00:54:45,839. Essa linha passou a terminar quase cinco segundos antes de começar. Dependendo do player, ela é ignorada ou o arquivo é rejeitado.
• O Claude Sonnet 5.5 moveu as palavras de duas linhas curtas ("absence ...", "we know them.") para a linha anterior e as apagou; depois numerou o resto do arquivo sem deixar nenhuma lacuna. A tradução termina na linha 1,198, e 870 linhas têm um número diferente do original.

A nossa própria ferramenta de tradução de legendas rodou no mesmo arquivo. Ela envia ao modelo apenas o texto, em blocos de até 60 linhas, pede de novo qualquer linha que volte faltando e copia do original todos os números e códigos de tempo. Devolveu 1,200 linhas, todas idênticas em numeração e sincronia. Para aprender a conferir você mesmo um arquivo traduzido em dois minutos, leia por que um SRT traduzido sai de sincronia.

Tarefa 2: uma conversa de 2,000 mensagens

Enviamos uma conversa de grupo de família com 2,000 mensagens em espanhol, no formato de exportação do WhatsApp, com a instrução: "Translate every message in this WhatsApp chat into English. Keep the date, time and name on each message."

• O GPT-6.1 Sol devolveu as 2,000 mensagens com todas as datas, horários e nomes intactos, depois de quase 13 minutos.
• O Gemini 4 Argon atingiu o limite de 64,000 tokens na mensagem 1,903 e parou no meio de um carimbo de data e hora. As últimas 97 mensagens ficaram faltando.
• O Claude Sonnet 5.5 atingiu o limite na mensagem 1,804 e parou no meio de um nome. As últimas 196 mensagens ficaram faltando, e o horário de uma mensagem foi alterado de 10:25:20 para 10:25:40.

Nenhum dos dois modelos resumiu nem pulou mensagens pelo caminho. A falha foi simplesmente falta de espaço, e a resposta não deu nenhum sinal disso: o texto termina no meio de uma linha. Em um aplicativo de chat, o limite de resposta é definido pelo aplicativo, não por você, e costuma ser menor que 64,000 tokens. Uma exportação real, com um ano de mensagens ou com mensagens de voz que precisam ser transcritas antes, é várias vezes maior. Nossa ferramenta Conversa do WhatsApp em PDF processa a exportação em blocos de mensagens, transcreve cada mensagem de voz no ponto em que foi enviada e coloca a tradução abaixo de cada mensagem original.

Tarefa 3: um extrato bancário de 320 linhas

Colamos como texto um extrato de 10 páginas, com saídas e entradas de dinheiro em colunas separadas, e pedimos um CSV com valores com sinal.

Os três modelos devolveram as 320 linhas. Todas as datas, descrições, valores, sinais e saldos corridos bateram com o nosso gabarito. É um resultado justo de publicar: um extrato limpo, baseado em texto, desse tamanho está dentro do que os modelos atuais fazem bem.

O que o nosso teste não cobriu é justamente onde os extratos costumam dar errado: PDFs escaneados ou fotografados, em que cada dígito precisa ser lido a partir de uma imagem, e extratos longos demais para uma única resposta. Nesses casos, o nosso conversor de extrato bancário lê cada página separadamente e junta as linhas em uma única tabela. De qualquer forma, some os valores e compare com o saldo final.

Tarefa 4: um documento de 30 páginas

Colamos os capítulos I a IX de O Príncipe (11.729 palavras, cerca de 30 páginas) com uma única linha: "Traduza este documento para o espanhol."

Os três devolveram os nove capítulos inteiros. O texto em espanhol ficou com 93 a 95 por cento da contagem de palavras do original em inglês, e a proporção se manteve na mesma faixa estreita em todos os capítulos, de 0,91 a 1,04, então nada foi condensado. Uma esquisitice: o Claude Sonnet 5.5 escreveu 残酷, a palavra chinesa para crueldade, duas vezes no capítulo VIII e depois acrescentou uma "nota do tradutor" no final pedindo que o leitor substituísse pelas palavras certas em espanhol. Você só descobriria isso lendo cada linha.

Com 30 páginas, um chatbot é uma escolha razoável para traduzir texto limpo. Um contrato de 100 páginas ou um PDF escaneado é outro tipo de tarefa: exige várias respostas, e cada página precisa antes ser lida a partir de uma imagem. Nosso tradutor de PDF trata cada página separadamente, em até 100 páginas por $5.

O que isso significa se você tem uma tarefa longa

1. Curto e limpo: use um chatbot. Um extrato de algumas centenas de linhas, um documento de algumas dezenas de páginas, um arquivo de legendas de um episódio. Depois, confira o resultado.
2. Confira o final primeiro. Toda falha neste teste aparece no final ou em uma contagem: número da última linha, último código de tempo, última mensagem, saldo final, último capítulo.
3. Longo ou exato: tire a estrutura das mãos do modelo. Quando a tarefa exige receber de volta todas as linhas, mensagens ou códigos de tempo sem alterações, use uma ferramenta que envia o conteúdo em partes e reconstrói o arquivo por conta própria. É assim que nossas ferramentas funcionam: a primeira parte é grátis e sem cadastro, e a tarefa inteira custa $5, em pagamento único, sem assinatura.

Limites deste teste

Foi uma execução por modelo e por tarefa, feita pela API, com um limite de resposta que nós escolhemos. Uma segunda execução poderia dar resultados diferentes, e os aplicativos de chat têm seus próprios limites e formas de lidar com arquivos. Nossa conversa e nosso extrato são fictícios, o extrato era texto limpo e não um PDF, e todas as traduções foram para um único idioma. Publicamos o método e os números para que você possa repetir o teste com seus próprios arquivos, e vamos refazê-lo quando os modelos mudarem.