Gdzie chatboty się zatrzymują: zmierzyliśmy cztery długie zlecenia

Tworzymy narzędzia do długich zleceń na plikach: całych plików z napisami, całych eksportów z WhatsAppa, całych wyciągów i dokumentów. Na naszych stronach piszemy, że chatboty mają z tym problem. 20 października 2026 przetestowaliśmy to twierdzenie zamiast je powtarzać: cztery zlecenia, trzy modele i po jednym prompcie, a potem policzyliśmy, co wróciło.

Wyniki w skrócie

Wyróżniają się dwie rzeczy. Po pierwsze, te modele radzą sobie z długimi zleceniami lepiej, niż sugerują popularne porady: dwa z czterech zleceń wszystkie modele wykonały w całości i poprawnie. Po drugie, każda znaleziona przez nas usterka była ukryta. Żadna odpowiedź nie napisała: „tu przestałem” ani „scaliłem dwie linie”. Każda wyglądała na skończoną.

Jak długie musiały być odpowiedzi

O tym, czy zlecenie zmieści się w jednej odpowiedzi, decyduje rozmiar odpowiedzi, a nie rozmiar przesłanego pliku.

Typowa odpowiedź w czacie to od kilkuset do kilku tysięcy tokenów. Każde zlecenie tutaj wymagało znacznie więcej, a tłumaczenie czatu wymagało więcej niż nasz hojny limit 64 000 tokenów w przypadku dwóch z trzech modeli.

Zlecenie 1: plik z napisami do pełnometrażowego filmu

Wysłaliśmy 85-minutowy plik SRT liczący 1200 linii i poprosiliśmy: „Przetłumacz ten plik z napisami na hiszpański. Zachowaj format SRT i czasy.”

• GPT-6.1 Sol zwrócił 1200 linii, w których każdy numer i kod czasowy były identyczne jak w oryginale.
• Gemini 4 Argon zwrócił 1200 linii, ale jako początek linii 770 wpisał 00:54:55,839, podczas gdy w oryginale było 00:54:45,839. Ta linia kończy się teraz prawie pięć sekund przed swoim początkiem. W zależności od odtwarzacza jest pomijana albo plik zostaje odrzucony.
• Claude Sonnet 5.5 przeniósł słowa dwóch krótkich linii („absence ...”, „we know them.”) do linii poprzedniej i je usunął, a resztę pliku ponumerował bez przerwy. Tłumaczenie kończy się na linii 1198, a 870 linii ma inny numer niż w oryginale.

Nasz tłumacz napisów przetworzył ten sam plik. Wysyła do modelu wyłącznie tekst, w blokach do 60 linii, ponownie prosi o każdą brakującą linię i kopiuje z oryginału każdy numer i kod czasowy. Zwrócił 1200 linii, wszystkie identyczne pod względem numeracji i czasów. Jak samodzielnie sprawdzić przetłumaczony plik w dwie minuty, opisujemy w artykule dlaczego przetłumaczony SRT rozjeżdża się z obrazem.

Zlecenie 2: czat z 2000 wiadomości

Wysłaliśmy hiszpańskojęzyczny rodzinny czat grupowy z 2000 wiadomości w formacie eksportu WhatsAppa, z poleceniem: „Przetłumacz każdą wiadomość z tego czatu WhatsApp na angielski. Zachowaj datę, godzinę i imię przy każdej wiadomości.”

• GPT-6.1 Sol zwrócił wszystkie 2000 wiadomości z nienaruszoną datą, godziną i imieniem, po prawie 13 minutach.
• Gemini 4 Argon osiągnął limit 64 000 tokenów przy wiadomości 1903 i zatrzymał się w środku znacznika czasu. Brakuje ostatnich 97 wiadomości.
• Claude Sonnet 5.5 osiągnął limit przy wiadomości 1804 i zatrzymał się w środku imienia. Brakuje ostatnich 196 wiadomości, a godzina jednej wiadomości została zmieniona z 10:25:20 na 10:25:40.

Żaden z modeli nie streszczał ani nie pomijał wiadomości po drodze. Usterka polegała po prostu na tym, że zabrakło miejsca, a odpowiedź nie dawała o tym żadnego znaku: tekst urywa się w połowie linii. W aplikacji czatu limit odpowiedzi ustala aplikacja, nie Ty, i zwykle jest niższy niż 64 000 tokenów. Prawdziwy eksport z rokiem wiadomości albo z wiadomościami głosowymi, które trzeba najpierw transkrybować, jest kilkukrotnie większy. Nasze narzędzie Czat WhatsApp do PDF przetwarza eksport w blokach wiadomości, transkrybuje każdą wiadomość głosową w miejscu, w którym została wysłana, i umieszcza tłumaczenie pod każdą oryginalną wiadomością.

Zlecenie 3: wyciąg bankowy z 320 wierszami

Wkleiliśmy 10-stronicowy wyciąg jako tekst, z wpłatami i wypłatami w osobnych kolumnach, i poprosiliśmy o CSV z kwotami ze znakiem.

Wszystkie trzy modele zwróciły wszystkie 320 wierszy. Każda data, opis, kwota, znak i saldo bieżące zgadzały się z naszym kluczem odpowiedzi. To uczciwy wynik do opublikowania: czysty, tekstowy wyciąg takiego rozmiaru mieści się w tym, z czym dzisiejsze modele radzą sobie dobrze.

Czego nasz test nie objął, to miejsc, w których wyciągi zwykle sprawiają kłopoty: zeskanowanych lub sfotografowanych plików PDF, gdzie każdą cyfrę trzeba odczytać z obrazu, oraz wyciągów zbyt długich na jedną odpowiedź. W takich przypadkach nasz konwerter wyciągów bankowych odczytuje każdą stronę osobno i scala wiersze w jedną tabelę. Tak czy inaczej, zsumuj kwoty i porównaj je z saldem końcowym.

Zlecenie 4: dokument na 30 stron

Wkleiliśmy rozdziały od I do IX książki Książę (11 729 słów, około 30 stron) i dodaliśmy jedno polecenie: "Translate this document into Spanish."

Wszystkie trzy modele zwróciły wszystkie dziewięć rozdziałów. Hiszpański tekst miał od 93 do 95 procent liczby słów angielskiego oryginału, a stosunek ten w każdym rozdziale mieścił się w tym samym wąskim przedziale, od 0,91 do 1,04, więc nic nie zostało streszczone. Jedna dziwna rzecz: Claude Sonnet 5.5 dwukrotnie wpisał w rozdziale VIII 残酷, czyli chińskie słowo oznaczające okrucieństwo, a na końcu dodał "przypisek tłumacza" z prośbą do czytelnika, by podstawił właściwe hiszpańskie słowa. Zauważysz to tylko wtedy, gdy przeczytasz każdą linijkę.

Przy 30 stronach chatbot jest rozsądnym wyborem do tłumaczenia czystego tekstu. Umowa na 100 stron albo zeskanowany PDF to już inne zlecenie: wymaga kilku odpowiedzi, a każdą stronę trzeba najpierw odczytać z obrazu. Nasz tłumacz PDF przetwarza każdą stronę osobno, do 100 stron za $5.

Co to oznacza, gdy masz długie zlecenie

1. Krótkie i czyste: użyj chatbota. Wyciąg na kilkaset wierszy, dokument na kilkadziesiąt stron, plik z napisami do jednego odcinka. Potem to sprawdź.
2. Najpierw sprawdź koniec. Każda porażka w tym teście wychodzi na jaw na końcu albo w liczbach: numer ostatniej linii, ostatni kod czasowy, ostatnia wiadomość, saldo końcowe, ostatni rozdział.
3. Długie lub wymagające dokładności: nie zostawiaj struktury w rękach modelu. Gdy zlecenie wymaga, by każda linia, wiadomość i kod czasowy wróciły bez zmian, użyj narzędzia, które wysyła treść po kawałku i samo odbudowuje plik. Tak działają nasze narzędzia: pierwsza część jest za darmo i bez rejestracji, a całe zlecenie kosztuje $5, jednorazowa płatność, bez subskrypcji.

Ograniczenia tego testu

To jedno uruchomienie na model i zlecenie, wykonane przez API, z limitem długości odpowiedzi, który sami ustaliliśmy. Kolejne uruchomienie mogłoby wypaść inaczej, a aplikacje czatu mają własne limity i własny sposób obsługi plików. Nasza rozmowa i nasz wyciąg są fikcyjne, wyciąg był czystym tekstem, a nie plikiem PDF, a każde tłumaczenie powstało na jeden język. Publikujemy metodę i liczby, żebyś mógł powtórzyć test na własnych plikach, a gdy modele się zmienią, uruchomimy go ponownie.