Là où les chatbots IA s'arrêtent : nous avons mesuré quatre tâches longues

Nous concevons des outils pour les tâches sur de longs fichiers : fichiers de sous-titres entiers, exports WhatsApp entiers, relevés et documents entiers. Nos pages affirment que les chatbots IA peinent sur ces tâches. Le 20 octobre 2026, nous avons mis cette affirmation à l'épreuve plutôt que de la répéter : quatre tâches, trois modèles, un seul prompt chacun, et nous avons compté ce qui nous revenait.

Les résultats en un coup d'œil

Deux constats s'imposent. D'abord, ces modèles s'en sortent mieux sur les tâches longues que ne le laissent entendre les conseils habituels : deux des quatre tâches ont été rendues complètes et correctes par tous les modèles. Ensuite, toutes les défaillances que nous avons relevées étaient silencieuses. Aucune réponse n'a signalé « je m'arrête ici » ou « j'ai fusionné deux lignes ». Chacune avait l'air terminée.

Quelle longueur de réponse était nécessaire

Ce n'est pas la taille du fichier que vous envoyez, mais celle de la réponse, qui détermine si une tâche tient en une seule réponse.

Une réponse de chat ordinaire fait quelques centaines à quelques milliers de jetons. Chacune des tâches ci-dessus en demandait bien davantage, et la traduction de la conversation exigeait plus que notre généreuse limite de 64 000 jetons pour deux modèles sur trois.

Tâche 1 : un fichier de sous-titres complet

Nous avons envoyé un fichier SRT de 1 200 lignes pour un film de 85 minutes, avec cette consigne : « Traduis ce fichier de sous-titres en espagnol. Conserve le format SRT et les timings. »

• GPT-6.1 Sol a renvoyé 1 200 lignes, avec tous les numéros et timecodes identiques à l'original.
• Gemini 4 Argon a renvoyé 1 200 lignes, mais a écrit 00:54:55,839 comme début de la ligne 770, là où l'original indiquait 00:54:45,839. Cette ligne se termine donc presque cinq secondes avant de commencer. Selon le lecteur, elle est ignorée ou le fichier est rejeté.
• Claude Sonnet 5.5 a déplacé les mots de deux lignes courtes (« absence ... », « we know them. ») dans la ligne précédente, puis a supprimé ces deux lignes et numéroté la suite du fichier sans trou. La traduction s'arrête à la ligne 1 198, et 870 lignes portent un autre numéro que dans l'original.

Notre propre traducteur de sous-titres a traité le même fichier. Il n'envoie que le texte au modèle, par blocs de 60 lignes maximum, redemande toute ligne manquante au retour, et recopie chaque numéro et chaque timecode depuis l'original. Il a renvoyé 1 200 lignes, toutes identiques en numéro et en timing. Pour vérifier vous-même un fichier traduit en deux minutes, lisez pourquoi un SRT traduit se désynchronise.

Tâche 2 : une conversation de 2 000 messages

Nous avons envoyé une conversation de groupe familiale de 2 000 messages en espagnol, au format d'export de WhatsApp, avec la consigne : « Traduis en anglais chaque message de cette conversation WhatsApp. Conserve la date, l'heure et le nom sur chaque message. »

• GPT-6.1 Sol a renvoyé les 2 000 messages avec toutes les dates, heures et noms intacts, au bout de près de 13 minutes.
• Gemini 4 Argon a atteint la limite de 64 000 jetons au message 1 903 et s'est arrêté au milieu d'un horodatage. Les 97 derniers messages manquent.
• Claude Sonnet 5.5 a atteint la limite au message 1 804 et s'est arrêté au milieu d'un nom. Les 196 derniers messages manquent, et l'heure d'un message est passée de 10:25:20 à 10:25:40.

Aucun des deux modèles n'a résumé ni sauté de messages en chemin. Le problème, c'était simplement le manque de place, et rien dans la réponse ne le signalait : le texte s'arrête en pleine ligne. Dans une application de chat, la limite de réponse est fixée par l'application, pas par vous, et elle est généralement inférieure à 64 000 jetons. Un véritable export couvrant un an de messages, ou comportant des messages vocaux à transcrire au préalable, est plusieurs fois plus volumineux. Notre outil Conversation WhatsApp en PDF traite un export par blocs de messages, transcrit chaque message vocal à l'endroit où il a été envoyé et place la traduction sous chaque message d'origine.

Tâche 3 : un relevé bancaire de 320 lignes

Nous avons collé sous forme de texte un relevé de 10 pages, avec les débits et les crédits dans des colonnes séparées, et demandé un CSV avec des montants signés.

Les trois modèles ont renvoyé les 320 lignes. Chaque date, libellé, montant, signe et solde courant correspondait à notre corrigé. Ce résultat mérite d'être publié : un relevé propre, au format texte et de cette taille, relève de ce que les modèles actuels font bien.

Notre test n'a en revanche pas couvert les cas où les relevés posent habituellement problème : les PDF numérisés ou photographiés, où chaque chiffre doit être lu sur une image, et les relevés trop longs pour une seule réponse. Pour ceux-là, notre convertisseur de relevés bancaires lit chaque page séparément et réunit les lignes dans un seul tableau. Dans tous les cas, additionnez les montants et comparez avec le solde de clôture.

Tâche 4 : un document de 30 pages

Nous avons collé les chapitres I à IX du Prince (11 729 mots, environ 30 pages) avec une seule consigne : "Traduis ce document en espagnol."

Les trois chatbots IA ont renvoyé les neuf chapitres. Le texte espagnol représentait 93 à 95 % du nombre de mots de l'anglais, et ce rapport restait dans la même fourchette étroite d'un chapitre à l'autre, de 0,91 à 1,04 : rien n'avait donc été condensé. Une bizarrerie, toutefois : Claude Sonnet 5.5 a écrit 残酷, le mot chinois pour « cruauté », deux fois dans le chapitre VIII, puis a ajouté à la fin une « note du traducteur » demandant au lecteur de remplacer ces mots par les bons termes espagnols. On ne le découvre qu'en lisant chaque ligne.

À 30 pages, un chatbot IA est un choix raisonnable pour traduire un texte propre. Un contrat de 100 pages ou un PDF numérisé, c'est une tout autre tâche : il faut plusieurs réponses, et chaque page doit d'abord être lue à partir d'une image. Notre traducteur de PDF traite chaque page séparément, jusqu'à 100 pages pour $5.

Ce que cela signifie si votre tâche est longue

1. Court et propre : utilisez un chatbot IA. Un relevé de quelques centaines de lignes, un document de quelques dizaines de pages, un fichier de sous-titres pour un épisode. Vérifiez ensuite le résultat.
2. Vérifiez d'abord la fin. Chaque défaillance de ce test apparaît à la fin ou dans un décompte : numéro de la dernière ligne, dernier code temporel, dernier message, solde de clôture, dernier chapitre.
3. Long ou exigeant : ne laissez pas le modèle gérer la structure. Quand une tâche exige que chaque ligne, chaque message ou chaque code temporel revienne à l'identique, utilisez un outil qui envoie le contenu par morceaux et reconstruit lui-même le fichier. C'est ainsi que fonctionnent nos outils : le début est gratuit et sans inscription, et la tâche entière coûte $5, en paiement unique, sans abonnement.

Limites de ce test

Il s'agit d'un seul essai par modèle et par tâche, réalisé via l'API, avec un plafond de réponse que nous avons fixé. Un deuxième essai pourrait donner un résultat différent, et les applications de chat ajoutent leurs propres limites et leur propre gestion des fichiers. Notre conversation et notre relevé sont fictifs, le relevé était du texte propre et non un PDF, et chaque traduction visait une seule langue. Nous publions la méthode et les chiffres pour que vous puissiez refaire le test avec vos propres fichiers, et nous relancerons ce test quand les modèles changeront.