Waar chatbots stoppen: we hebben vier lange opdrachten gemeten

We bouwen tools voor lange bestandsopdrachten: hele ondertitelbestanden, hele WhatsApp-exports, hele afschriften en documenten. Op onze pagina's staat dat chatbots hier moeite mee hebben. Op 20 oktober 2026 hebben we die bewering getest in plaats van haar te herhalen, met vier opdrachten, drie modellen en telkens één prompt, en geteld wat er terugkwam.

De resultaten in één oogopslag

Twee dingen vallen op. Ten eerste zijn deze modellen beter in lange opdrachten dan het gebruikelijke advies doet vermoeden: bij twee van de vier opdrachten leverde elk model een compleet en correct resultaat. Ten tweede was elke fout die we vonden stil. Geen enkel antwoord meldde: "hier ben ik gestopt" of "ik heb twee regels samengevoegd". Elk resultaat zag er af uit.

Hoe lang de antwoorden moesten zijn

De lengte van het antwoord, niet de grootte van het bestand dat je uploadt, bepaalt of een opdracht in één antwoord past.

Een gewoon chatantwoord telt enkele honderden tot enkele duizenden tokens. Elke opdracht hier had er veel meer nodig, en de chatvertaling vergde bij twee van de drie modellen meer dan onze ruime limiet van 64.000 tokens.

Opdracht 1: een ondertitelbestand van volledige lengte

We stuurden een SRT-bestand van 85 minuten met 1.200 regels en vroegen: "Vertaal dit ondertitelbestand naar het Spaans. Behoud het SRT-formaat en de timing."

• GPT-6.1 Sol leverde 1.200 regels, met alle nummers en tijdcodes identiek aan het origineel.
• Gemini 4 Argon leverde 1.200 regels, maar schreef 00:54:55,839 als begin van regel 770, waar het origineel 00:54:45,839 had. Die regel eindigt nu bijna vijf seconden voordat hij begint. Afhankelijk van de speler wordt hij overgeslagen of wordt het bestand geweigerd.
• Claude Sonnet 5.5 verplaatste de woorden van twee korte regels ("afwezigheid ...", "we kennen ze.") naar de regel ervoor en verwijderde ze, en nummerde de rest van het bestand daarna zonder gat. De vertaling eindigt bij regel 1.198 en 870 regels hebben een ander nummer dan in het origineel.

Onze eigen Ondertitels vertalen-tool draaide op hetzelfde bestand. Die stuurt alleen de tekst naar een model, in blokken van maximaal 60 regels, vraagt elke ontbrekende regel opnieuw op en neemt alle nummers en tijdcodes over uit het origineel. Het resultaat: 1.200 regels, allemaal identiek in nummer en timing. Hoe je een vertaald bestand in twee minuten zelf controleert, lees je in waarom een vertaalde SRT niet meer synchroon loopt.

Opdracht 2: een chat van 2.000 berichten

We stuurden een Spaanse familiegroepschat van 2.000 berichten in het exportformaat van WhatsApp, met de opdracht: "Vertaal elk bericht in deze WhatsApp-chat naar het Engels. Behoud de datum, de tijd en de naam bij elk bericht."

• GPT-6.1 Sol leverde na bijna 13 minuten alle 2.000 berichten, met alle datums, tijden en namen intact.
• Gemini 4 Argon bereikte de limiet van 64.000 tokens bij bericht 1.903 en stopte midden in een tijdstempel. De laatste 97 berichten ontbreken.
• Claude Sonnet 5.5 bereikte de limiet bij bericht 1.804 en stopte midden in een naam. De laatste 196 berichten ontbreken, en de tijd van één bericht is gewijzigd van 10:25:20 naar 10:25:40.

Geen van beide modellen vatte onderweg berichten samen of sloeg ze over. De fout was gewoon dat de ruimte op was, en het antwoord gaf daar geen enkel teken van: de tekst breekt midden in een regel af. In een chat-app bepaalt de app de antwoordlimiet, niet jij, en die ligt meestal lager dan 64.000 tokens. Een echte export met een jaar aan berichten, of met spraakberichten die eerst getranscribeerd moeten worden, is een veelvoud groter. Onze WhatsApp-chat naar PDF-tool werkt een export in blokken berichten af, transcribeert elk spraakbericht op de plek waar het is verstuurd en zet de vertaling onder elk oorspronkelijk bericht.

Opdracht 3: een bankafschrift van 320 rijen

We plakten een afschrift van 10 pagina's als tekst, met af- en bijschrijvingen in aparte kolommen, en vroegen om CSV met bedragen met plus- of minteken.

Alle drie de modellen leverden alle 320 rijen. Elke datum, omschrijving, elk bedrag, elk teken en elk lopend saldo kwam overeen met onze antwoordsleutel. Dit is een eerlijk resultaat om te publiceren: een schoon, op tekst gebaseerd afschrift van deze omvang valt binnen wat de huidige modellen goed kunnen.

Wat onze test niet dekte, is waar afschriften meestal misgaan: gescande of gefotografeerde PDF's, waarbij elk cijfer van een afbeelding moet worden afgelezen, en afschriften die te lang zijn voor één antwoord. Voor die gevallen leest onze Bankafschrift-converter elke pagina afzonderlijk en voegt de rijen samen tot één tabel. Tel in beide gevallen de bedragen bij elkaar op en vergelijk de uitkomst met het eindsaldo.

Opdracht 4: een document van 30 pagina's

We plakten hoofdstuk I tot en met IX van De heerser (Il Principe, 11,729 woorden, ongeveer 30 pagina's) met één regel: "Translate this document into Spanish."

Alle drie leverden alle negen hoofdstukken terug. Het Spaans besloeg 93 tot 95 procent van het aantal Engelse woorden, en de verhouding bleef in elk hoofdstuk binnen dezelfde smalle band, van 0.91 tot 1.04, dus er was niets samengevat. Eén vreemde uitschieter: Claude Sonnet 5.5 schreef in hoofdstuk VIII twee keer 残酷, het Chinese woord voor wreedheid, en voegde aan het eind een "vertalersnotitie" toe waarin de lezer werd gevraagd de juiste Spaanse woorden in te vullen. Dat vind je alleen door elke regel te lezen.

Bij 30 pagina's is een chatbot een redelijke keuze om schone tekst te vertalen. Een contract van 100 pagina's of een gescande PDF is een andere opdracht: daarvoor zijn meerdere antwoorden nodig en moet elke pagina eerst vanaf een afbeelding worden gelezen. Onze PDF-vertaler verwerkt elke pagina apart, tot 100 pagina's voor $5.

Wat dit betekent als je een lange opdracht hebt

1. Kort en schoon: gebruik een chatbot. Een afschrift van een paar honderd rijen, een document van enkele tientallen pagina's, een ondertitelbestand voor één aflevering. Controleer het resultaat daarna.
2. Controleer eerst het einde. Elke fout in deze test zie je aan het eind of in een telling: laatste regelnummer, laatste tijdcode, laatste bericht, eindsaldo, laatste hoofdstuk.
3. Lang of nauwkeurig: houd de structuur uit handen van het model. Heeft een opdracht elke regel, elk bericht of elke tijdcode ongewijzigd terug nodig, gebruik dan een tool die de inhoud in stukken verstuurt en het bestand zelf weer opbouwt. Zo werken onze tools: het eerste deel is gratis zonder account, en de hele opdracht kost $5, eenmalig betaald, zonder abonnement.

Beperkingen van deze test

Dit is één run per model en opdracht, via de API, met een door ons gekozen limiet voor de lengte van het antwoord. Een tweede run kan anders uitpakken, en de chat-apps voegen hun eigen limieten en bestandsverwerking toe. Onze chat en ons afschrift zijn verzonnen, het afschrift was schone tekst in plaats van een PDF, en elke vertaling ging naar één taal. We publiceren de methode en de cijfers zodat je het met je eigen bestanden kunt herhalen, en we draaien de test opnieuw als de modellen veranderen.