Sohbet asistanlarının yarıda bıraktığı yer: dört uzun işi ölçtük

Uzun dosya işleri için araçlar geliştiriyoruz: altyazı dosyalarının, WhatsApp dışa aktarımlarının, ekstrelerin ve belgelerin tamamı. Sayfalarımızda yapay zekâ sohbet asistanlarının bunlarda zorlandığını söylüyoruz. 20 Ekim 2026'da bu iddiayı tekrarlamak yerine test ettik: dört iş, üç model, her biri için tek bir istem; sonra geri dönenleri saydık.

Sonuçlara kısaca bakış

İki nokta öne çıkıyor. Birincisi, bu modeller uzun işlerde genelde söylendiğinden daha iyi: dört işin ikisi her modelden eksiksiz ve doğru döndü. İkincisi, bulduğumuz her hata sessizdi. Hiçbir yanıt "Burada durdum" ya da "İki satırı birleştirdim" demedi. Hepsi bitmiş gibi görünüyordu.

Yanıtların ne kadar uzun olması gerekiyordu

Bir işin tek yanıta sığıp sığmayacağını yüklediğiniz dosyanın boyutu değil, cevabın boyutu belirler.

Sohbette tipik bir yanıt birkaç yüz ile birkaç bin token arasındadır. Buradaki her iş çok daha fazlasını gerektirdi; sohbet çevirisi ise üç modelden ikisi için bizim cömert tuttuğumuz 64,000 token'lık sınırdan bile fazlasına ihtiyaç duydu.

1. iş: tam uzunlukta bir altyazı dosyası

1,200 satırlık, 85 dakikalık bir SRT dosyası gönderdik ve şunu istedik: "Bu altyazı dosyasını İspanyolcaya çevir. SRT biçimini ve zamanlamaları koru."

• GPT-6.1 Sol, tüm numaraları ve zaman kodları orijinaliyle aynı olan 1,200 satır döndürdü.
• Gemini 4 Argon 1,200 satır döndürdü, ancak 770. satırın başlangıcını orijinaldeki 00:54:45,839 yerine 00:54:55,839 yazdı. Bu satır artık başlamadan yaklaşık beş saniye önce bitiyor. Oynatıcıya göre ya atlanıyor ya da dosya reddediliyor.
• Claude Sonnet 5.5, iki kısa satırın ("yokluk ...", "onları tanıyoruz.") sözcüklerini bir önceki satıra taşıyıp kendi satırlarını sildi, sonra dosyanın geri kalanını boşluksuz numaralandırdı. Çeviri 1,198. satırda bitiyor ve 870 satırın numarası orijinalden farklı.

Aynı dosyayı kendi altyazı çevirici aracımızla da çevirdik. Modele yalnızca metni, en fazla 60 satırlık bloklar halinde gönderiyor, eksik dönen satırları yeniden istiyor ve tüm numaraları ile zaman kodlarını orijinalden kopyalıyor. 1,200 satır döndü; hepsinin numarası ve zamanlaması aynıydı. Çevrilmiş bir dosyayı iki dakikada kendiniz nasıl kontrol edeceğinizi çevrilen SRT neden senkronu kaybeder yazısında anlattık.

2. iş: 2,000 mesajlık bir sohbet

WhatsApp'ın dışa aktarma biçiminde, 2,000 mesajlık İspanyolca bir aile grubu sohbeti gönderdik ve şu talimatı verdik: "Bu WhatsApp sohbetindeki her mesajı İngilizceye çevir. Her mesajdaki tarihi, saati ve adı koru."

• GPT-6.1 Sol, yaklaşık 13 dakika sonra, tarihleri, saatleri ve adları bozulmamış 2,000 mesajın tamamını döndürdü.
• Gemini 4 Argon, 1,903. mesajda 64,000 token sınırına ulaştı ve bir zaman damgasının ortasında durdu. Son 97 mesaj eksik.
• Claude Sonnet 5.5, 1,804. mesajda sınıra ulaştı ve bir adın ortasında durdu. Son 196 mesaj eksik; ayrıca bir mesajın saati 10:25:20'den 10:25:40'a değişmiş.

İki model de yol boyunca mesajları özetlemedi ya da atlamadı. Sorun, yerin yetmemesiydi ve yanıt bunu hiç belli etmedi: metin satırın ortasında bitiyor. Bir sohbet uygulamasında yanıt sınırını siz değil uygulama belirler ve bu sınır çoğunlukla 64,000 token'dan düşüktür. Bir yıllık mesaj içeren ya da önce yazıya dökülmesi gereken sesli mesajlar barındıran gerçek bir dışa aktarma ise bundan kat kat büyüktür. WhatsApp Sohbetinden PDF'ye aracımız dışa aktarılan dosyayı mesaj blokları halinde işler, her sesli mesajı gönderildiği yerde yazıya döker ve çeviriyi her orijinal mesajın altına yerleştirir.

3. iş: 320 satırlık bir banka ekstresi

10 sayfalık bir ekstreyi, çıkan ve giren paralar ayrı sütunlarda olacak şekilde metin olarak yapıştırdık ve işaretli tutarlarla CSV istedik.

Üç model de 320 satırın tamamını döndürdü. Her tarih, açıklama, tutar, işaret ve bakiye bizim cevap anahtarımızla eşleşti. Bunu yayımlamak adil olur: bu boyutta, temiz ve metin tabanlı bir ekstre, bugünün modellerinin iyi başardığı işlerden.

Testimizin kapsamadığı yer ise ekstrelerde işlerin genelde ters gittiği yerler: her rakamın görselden okunması gereken taranmış ya da fotoğrafı çekilmiş PDF'ler ve tek yanıta sığmayacak kadar uzun ekstreler. Bunlar için banka ekstresi dönüştürücü aracımız her sayfayı ayrı okuyor ve satırları tek bir tabloda birleştiriyor. Hangi yolu seçerseniz seçin, tutarları toplayıp kapanış bakiyesiyle karşılaştırın.

4. iş: 30 sayfalık bir belge

Prens kitabının I'den IX'a kadar olan bölümlerini (11.729 kelime, yaklaşık 30 sayfa) tek bir cümleyle yapıştırdık: "Translate this document into Spanish."

Üçü de dokuz bölümün tamamını döndürdü. İspanyolca metin, İngilizce kelime sayısının yüzde 93 ila 95'i kadardı. Oran her bölümde 0,91 ile 1,04 arasındaki aynı dar aralıkta kaldı; yani hiçbir yer kısaltılmamıştı. Tek garip nokta şuydu: Claude Sonnet 5.5, VIII. bölümde zulüm anlamına gelen Çince 残酷 sözcüğünü iki kez yazdı, sonra en sona bir "çevirmen notu" ekleyip okuyucudan doğru İspanyolca sözcükleri yerine koymasını istedi. Bunu ancak her satırı okuyarak fark edebilirsiniz.

30 sayfada, temiz bir metni çevirmek için yapay zekâ sohbet asistanı makul bir seçim. 100 sayfalık bir sözleşme ya da taranmış bir PDF ise başka bir iş: birkaç yanıt gerekir ve her sayfanın önce görüntüden okunması gerekir. PDF çevirimiz her sayfayı ayrı ayrı işler; $5 karşılığında 100 sayfaya kadar çevirir.

Uzun bir işiniz varsa bu ne anlama geliyor?

1. Kısa ve temizse: yapay zekâ sohbet asistanı kullanın. Birkaç yüz satırlık bir ekstre, birkaç düzine sayfalık bir belge, tek bölümlük bir altyazı dosyası. Sonra sonucu kontrol edin.
2. Önce sona bakın. Bu testteki her hata sonda ya da bir sayımda ortaya çıkıyor: son satır numarası, son zaman kodu, son mesaj, kapanış bakiyesi, son bölüm.
3. Uzun ya da kusursuz olması gerekiyorsa: yapıyı modelin eline bırakmayın. Bir işte her satırın, mesajın ya da zaman kodunun değişmeden geri gelmesi gerekiyorsa, içeriği parçalar halinde gönderip dosyayı kendisi yeniden oluşturan bir araç kullanın. Araçlarımız tam olarak böyle çalışır: ilk bölüm hesap açmadan ücretsiz, işin tamamı ise tek seferlik ödemeyle $5; abonelik yok.

Bu testin sınırları

Bu test, her model ve iş için API üzerinden yapılmış tek bir çalıştırmadır ve yanıt sınırını biz belirledik. İkinci bir çalıştırma farklı sonuç verebilir; ayrıca sohbet uygulamalarının kendi sınırları ve dosya işleme yöntemleri vardır. Sohbetimiz ve ekstremiz kurgusaldır, ekstre PDF değil düz metindi ve her çeviri tek bir dile yapıldı. Yöntemi ve rakamları, kendi dosyalarınızla tekrarlayabilmeniz için yayımlıyoruz; modeller değiştiğinde testi yeniden yapacağız.