Dove i chatbot si fermano: abbiamo misurato quattro lavori lunghi

Creiamo strumenti per i lavori lunghi su file: file di sottotitoli completi, esportazioni di WhatsApp complete, estratti conto e documenti completi. Nelle nostre pagine scriviamo che i chatbot fanno fatica con questi lavori. Il 20 ottobre 2026 abbiamo messo alla prova questa affermazione invece di ripeterla, con quattro lavori, tre modelli e un prompt ciascuno, e abbiamo contato cosa è tornato indietro.

I risultati in sintesi

Due cose saltano all'occhio. Primo: questi modelli se la cavano meglio con i lavori lunghi di quanto suggeriscano i soliti consigli: due lavori su quattro sono tornati completi e corretti da tutti i modelli. Secondo: ogni errore che abbiamo trovato era silenzioso. Nessuna risposta diceva "mi sono fermato qui" o "ho unito due righe". Ognuna sembrava finita.

Quanto dovevano essere lunghe le risposte

Quello che decide se un lavoro sta in una sola risposta è la dimensione della risposta, non quella del file che carichi.

Una tipica risposta in chat è di qualche centinaio o qualche migliaio di token. Ognuno di questi lavori ne richiedeva molti di più, e la traduzione della chat ne richiedeva più del nostro generoso limite di 64,000 token per due modelli su tre.

Lavoro 1: un file di sottotitoli di lunghezza intera

Abbiamo inviato un file SRT di 85 minuti con 1,200 righe, chiedendo: "Translate this subtitle file into Spanish. Keep the SRT format and the timings."

• GPT-6.1 Sol ha restituito 1,200 righe con tutti i numeri e i time code identici all'originale.
• Gemini 4 Argon ha restituito 1,200 righe, ma ha scritto 00:54:55,839 come inizio della riga 770 dove l'originale diceva 00:54:45,839. Ora quella riga finisce quasi cinque secondi prima di iniziare. A seconda del player, viene saltata oppure il file viene rifiutato.
• Claude Sonnet 5.5 ha spostato le parole di due righe brevi ("absence ...", "we know them.") nella riga precedente e le ha cancellate, poi ha numerato il resto del file senza lasciare vuoti. La traduzione termina alla riga 1,198 e 870 righe hanno un numero diverso da quello dell'originale.

Il nostro traduttore di sottotitoli è stato eseguito sullo stesso file. Invia al modello solo il testo, in blocchi fino a 60 righe, richiede di nuovo ogni riga che torna mancante e copia dall'originale ogni numero e ogni time code. Ha restituito 1,200 righe, tutte identiche per numero e timing. Come controllare da solo un file tradotto in due minuti lo trovi in perché un SRT tradotto va fuori sincrono.

Lavoro 2: una chat da 2,000 messaggi

Abbiamo inviato una chat di gruppo familiare in spagnolo da 2,000 messaggi, nel formato di esportazione di WhatsApp, con questa istruzione: "Translate every message in this WhatsApp chat into English. Keep the date, time and name on each message."

• GPT-6.1 Sol ha restituito tutti i 2,000 messaggi con data, ora e nome intatti, dopo quasi 13 minuti.
• Gemini 4 Argon ha raggiunto il limite di 64,000 token al messaggio 1,903 e si è fermato nel mezzo di un timestamp. Mancano gli ultimi 97 messaggi.
• Claude Sonnet 5.5 ha raggiunto il limite al messaggio 1,804 e si è fermato nel mezzo di un nome. Mancano gli ultimi 196 messaggi e l'orario di un messaggio è stato cambiato da 10:25:20 a 10:25:40.

Nessuno dei due modelli ha riassunto o saltato messaggi lungo il percorso. L'errore è stato semplicemente aver esaurito lo spazio, e la risposta non ne dava alcun segnale: il testo finisce a metà riga. In un'app di chat il limite di risposta lo decide l'app, non tu, ed è di solito inferiore a 64,000 token. Un'esportazione reale con un anno di messaggi, o con messaggi vocali da trascrivere prima, è molte volte più grande. Il nostro strumento Chat WhatsApp in PDF elabora l'esportazione a blocchi di messaggi, trascrive ogni messaggio vocale al suo posto e inserisce la traduzione sotto ogni messaggio originale.

Lavoro 3: un estratto conto da 320 righe

Abbiamo incollato come testo un estratto conto di 10 pagine, con uscite ed entrate in colonne separate, e abbiamo chiesto un CSV con importi con segno.

Tutti e tre i modelli hanno restituito tutte le 320 righe. Ogni data, descrizione, importo, segno e saldo progressivo corrispondeva alla nostra soluzione di riferimento. È un risultato corretto da pubblicare: un estratto conto pulito, basato su testo, di queste dimensioni rientra in ciò che i modelli di oggi fanno bene.

Ciò che il nostro test non ha coperto è dove gli estratti conto di solito vanno storti: i PDF scansionati o fotografati, in cui ogni cifra va letta da un'immagine, e gli estratti troppo lunghi per una sola risposta. Per questi, il nostro convertitore di estratti conto legge ogni pagina separatamente e unisce le righe in un'unica tabella. In ogni caso, somma gli importi e confrontali con il saldo finale.

Lavoro 4: un documento di 30 pagine

Abbiamo incollato i capitoli da I a IX de Il Principe (11.729 parole, circa 30 pagine) con una sola riga: "Traduci questo documento in spagnolo."

Tutti e tre hanno restituito tutti e nove i capitoli. Lo spagnolo aveva dal 93 al 95 percento delle parole dell'inglese, e il rapporto è rimasto nella stessa fascia stretta in ogni capitolo, da 0.91 a 1.04, quindi nulla era stato riassunto. Una stranezza: Claude Sonnet 5.5 ha scritto 残酷, la parola cinese per crudeltà, due volte nel capitolo VIII, e poi ha aggiunto in fondo una "nota del traduttore" in cui chiedeva al lettore di sostituirla con le parole spagnole giuste. Te ne accorgeresti solo leggendo ogni riga.

A 30 pagine, un chatbot è una scelta ragionevole per tradurre un testo pulito. Un contratto di 100 pagine o un PDF scansionato è un altro paio di maniche: servono più risposte, e ogni pagina va prima letta da un'immagine. Il nostro traduttore di PDF elabora ogni pagina separatamente, fino a 100 pagine per $5.

Cosa significa se hai un lavoro lungo

1. Breve e pulito: usa un chatbot. Un estratto conto di qualche centinaio di righe, un documento di qualche decina di pagine, un file dei sottotitoli per un singolo episodio. Poi controlla il risultato.
2. Controlla prima la fine. Ogni errore di questo test emerge alla fine o in un conteggio: numero dell'ultima riga, ultimo time code, ultimo messaggio, saldo finale, ultimo capitolo.
3. Lungo o preciso: tieni la struttura fuori dalle mani del modello. Quando un lavoro richiede che ogni riga, messaggio o time code torni indietro invariato, usa uno strumento che invia il contenuto a pezzi e ricostruisce il file da sé. È così che funzionano i nostri strumenti: la prima parte è gratis e senza registrazione, e il lavoro completo costa $5, con pagamento una tantum e senza abbonamento.

Limiti di questo test

Si tratta di una sola esecuzione per modello e per lavoro, tramite API, con un limite di lunghezza della risposta scelto da noi. Una seconda esecuzione potrebbe dare risultati diversi, e le app di chat aggiungono limiti propri e una propria gestione dei file. La nostra chat e il nostro estratto conto sono inventati, l'estratto conto era testo pulito e non un PDF, e ogni traduzione è stata fatta in una sola lingua. Pubblichiamo il metodo e i numeri così puoi ripetere il test con i tuoi file, e lo ripeteremo quando i modelli cambieranno.