Где чат-боты обрываются на полуслове: мы измерили четыре длинные задачи

Мы создаём инструменты для длинных задач с файлами: целые файлы субтитров, целые экспорты WhatsApp, целые выписки и документы. На наших страницах сказано, что чат-боты с такими задачами справляются плохо. 20 октября 2026 года мы не стали повторять это на слово, а проверили: четыре задачи, три модели, по одному запросу на каждую, и подсчитали, что вернулось.

Результаты вкратце

Выделяются два момента. Во-первых, с длинными задачами эти модели справляются лучше, чем принято считать: две из четырёх задач все модели выполнили полностью и без ошибок. Во-вторых, каждый найденный нами сбой был тихим. Ни один ответ не сообщил «я остановился здесь» или «я объединил две строки». Каждый выглядел законченным.

Какой длины должны были быть ответы

Вместится ли задача в один ответ, решает размер ответа, а не размер загружаемого файла.

Обычный ответ в чате занимает от нескольких сотен до нескольких тысяч токенов. Каждой из этих задач требовалось намного больше, а для перевода чата двум моделям из трёх понадобилось больше, чем наш щедрый лимит в 64 000 токенов.

Задача 1: файл субтитров полной длины

Мы отправили SRT-файл на 85 минут, 1 200 строк, с просьбой: «Переведи этот файл субтитров на испанский. Сохрани формат SRT и тайминги».

• GPT-6.1 Sol вернул 1 200 строк, где все номера и тайм-коды совпадают с оригиналом.
• Gemini 4 Argon вернул 1 200 строк, но в начале строки 770 написал 00:54:55,839 вместо 00:54:45,839, как в оригинале. Теперь эта строка заканчивается почти на пять секунд раньше, чем начинается. В зависимости от плеера она пропускается или файл отклоняется.
• Claude Sonnet 5.5 перенёс слова двух коротких строк («absence ...», «we know them.») в предыдущую строку, а сами строки удалил, после чего пронумеровал остальной файл без пропусков. Перевод заканчивается на строке 1 198, а у 870 строк номер отличается от оригинального.

Наш переводчик субтитров обработал тот же файл. Он отправляет модели только текст блоками до 60 строк, повторно запрашивает любую строку, которая не вернулась, и копирует все номера и тайм-коды из оригинала. Он вернул 1 200 строк, и все номера и тайминги совпали. Как самостоятельно проверить переведённый файл за две минуты, рассказано в статье почему переведённый SRT рассинхронизируется.

Задача 2: чат из 2 000 сообщений

Мы отправили семейный групповой чат на испанском из 2 000 сообщений в формате экспорта WhatsApp с инструкцией: «Переведи все сообщения этого чата WhatsApp на английский. Сохрани дату, время и имя в каждом сообщении».

• GPT-6.1 Sol вернул все 2 000 сообщений, где дата, время и имя в каждом целы, почти за 13 минут.
• Gemini 4 Argon дошёл до лимита в 64 000 токенов на сообщении 1 903 и остановился посреди временной метки. Последних 97 сообщений нет.
• Claude Sonnet 5.5 дошёл до лимита на сообщении 1 804 и остановился посреди имени. Последних 196 сообщений нет, а время одного сообщения изменено с 10:25:20 на 10:25:40.

Ни одна из этих двух моделей не пересказывала и не пропускала сообщения по пути. Сбой был просто в том, что закончилось место, и ответ никак об этом не сообщил: текст обрывается на полуслове. В чат-приложении лимит ответа задаёт приложение, а не вы, и обычно он ниже 64 000 токенов. Реальный экспорт с перепиской за год или с голосовыми сообщениями, которые сначала нужно расшифровать, в несколько раз больше. Наш инструмент «Чат WhatsApp в PDF» обрабатывает экспорт блоками сообщений, расшифровывает каждое голосовое сообщение на том месте, где оно было отправлено, и размещает перевод под каждым исходным сообщением.

Задача 3: банковская выписка на 320 строк

Мы вставили текстом выписку на 10 страниц, где расходы и поступления стоят в разных столбцах, и попросили выдать CSV с суммами со знаком.

Все три модели вернули все 320 строк. Каждая дата, описание, сумма, знак и текущий остаток совпали с нашим эталоном. Об этом результате честно сказать стоит: чистая текстовая выписка такого размера по силам современным моделям.

Что наш тест не охватил, так это места, где выписки обычно и дают сбой: отсканированные или сфотографированные PDF, где каждую цифру нужно распознавать по изображению, и выписки, слишком длинные для одного ответа. Для таких случаев наш конвертер банковских выписок читает каждую страницу отдельно и объединяет строки в одну таблицу. В любом случае сложите суммы и сверьте их с конечным остатком.

Задача 4: документ на 30 страниц

Мы вставили главы I–IX книги «Государь» (11 729 слов, около 30 страниц) с одной строкой: «Переведи этот документ на испанский».

Все три чат-бота вернули все девять глав. Испанский текст составил 93–95 % от английского по числу слов, причём в каждой главе соотношение держалось в одном узком диапазоне, от 0,91 до 1,04, так что ничего не было сокращено. Одна странность: Claude Sonnet 5.5 дважды написал в главе VIII 残酷, китайское слово «жестокость», а в конце добавил «примечание переводчика» с просьбой к читателю подставить правильные испанские слова. Заметить это можно, только прочитав каждую строку.

На 30 страницах чат-бот вполне подходит для перевода чистого текста. Договор на 100 страниц или отсканированный PDF — это уже другая задача: понадобится несколько ответов, а каждую страницу сначала нужно прочитать с изображения. Наш переводчик PDF обрабатывает каждую страницу отдельно, до 100 страниц за $5.

Что это значит, если у вас большая задача

1. Короткое и чистое: используйте чат-бот. Выписка из нескольких сотен строк, документ на несколько десятков страниц, файл субтитров для одной серии. Затем проверьте результат.
2. Сначала проверьте конец. Каждый сбой в этом тесте проявляется в конце или в подсчётах: номер последней строки, последний тайм-код, последнее сообщение, итоговый остаток, последняя глава.
3. Длинное или требующее точности: не отдавайте структуру на откуп модели. Если нужно, чтобы каждая строка, сообщение или тайм-код вернулись без изменений, используйте инструмент, который отправляет содержимое по частям и сам собирает файл заново. Именно так работают наши инструменты: первая часть бесплатно и без регистрации, а вся задача стоит $5 — разовый платёж, без подписки.

Ограничения этого теста

Это один запуск на каждую модель и задачу, выполненный через API, с лимитом длины ответа, который выбрали мы. Повторный запуск мог бы дать другой результат, а в чат-приложениях действуют собственные ограничения и своя обработка файлов. Наш чат и выписка вымышленные, выписка была чистым текстом, а не PDF, и все переводы делались на один язык. Мы публикуем методику и цифры, чтобы вы могли повторить тест на своих файлах, и перезапустим его, когда модели изменятся.