हम लंबे फ़ाइल जॉब के लिए टूल बनाते हैं: पूरी सबटाइटल फ़ाइल, पूरे WhatsApp एक्सपोर्ट, पूरे स्टेटमेंट और डॉक्यूमेंट। हमारे पेजों पर लिखा है कि चैटबॉट इनमें अटक जाते हैं। 20 अक्टूबर 2026 को हमने इस दावे को दोहराने की जगह परखा: चार जॉब, तीन मॉडल, हर एक के लिए एक प्रॉम्प्ट, और फिर गिना कि क्या लौटकर आया।

नतीजे एक नज़र में

जॉब GPT-6.1 Sol Gemini 4 Argon Claude Sonnet 5.5
1,200 लाइन की SRT का स्पैनिश में अनुवाद 1,200 में से 1,200 लाइनें, सभी टाइम कोड सही 1,200 लाइनें, 1 टाइम कोड गड़बड़ 1,198 लाइनें, 2 पिछली लाइन में मिल गईं, 870 की नंबरिंग बदल गई
2,000 मैसेज की चैट का अंग्रेज़ी में अनुवाद 2,000 में से 2,000 मैसेज 1,903, मैसेज के बीच में ही रुक गया 1,804, मैसेज के बीच में ही रुक गया, 1 समय बदल गया
320 पंक्तियों के स्टेटमेंट से CSV 320 में से 320 पंक्तियाँ, 0 गलती 320 में से 320 पंक्तियाँ, 0 गलती 320 में से 320 पंक्तियाँ, 0 गलती
30 पेज (11,729 शब्द) का स्पैनिश में अनुवाद 9 में से 9 चैप्टर, 93% लंबाई 9 में से 9 चैप्टर, 95% लंबाई 9 में से 9 चैप्टर, 94% लंबाई, चीनी भाषा के 2 बेवजह शब्द
हर मॉडल और हर जॉब के लिए एक रन, 20 October 2026, API के ज़रिए, जवाब की सीमा 64,000 टोकन रखकर। चैट ऐप्स में नहीं।

दो बातें साफ़ दिखती हैं। पहली, ये मॉडल लंबे जॉब में उससे बेहतर हैं जितना आम सलाह में कहा जाता है: चार में से दो जॉब हर मॉडल से पूरे और सही लौटे। दूसरी, हमें जितनी भी गड़बड़ियाँ मिलीं, सब चुपचाप हुईं। किसी जवाब ने यह नहीं कहा कि "मैं यहीं रुक गया" या "मैंने दो लाइनें मिला दीं"। हर जवाब देखने में पूरा लग रहा था।

जवाब कितने लंबे होने थे

कोई जॉब एक ही जवाब में पूरा हो पाएगा या नहीं, यह इस पर निर्भर करता है कि जवाब कितना बड़ा है, इस पर नहीं कि आपने कितनी बड़ी फ़ाइल अपलोड की है।

जॉब इनपुट टोकन ज़रूरी आउटपुट टोकन हर जवाब में समय
सबटाइटल, 1,200 लाइनें 38,900 से 54,300 37,900 से 55,700 5 से 8 मिनट
चैट, 2,000 मैसेज 54,700 से 75,300 52,800 से करीब 71,000 5 से 13 मिनट
डॉक्यूमेंट, 11,729 शब्द 15,100 से 21,300 15,000 से 26,300 2.5 से 4.5 मिनट
स्टेटमेंट, 320 पंक्तियाँ 8,700 से 13,900 7,700 से 13,200 1 से 2 मिनट
ये तीनों मॉडल की रेंज हैं। टोकन की गिनती हर मॉडल में अलग होती है, क्योंकि हर मॉडल अपने तरीके से टोकन गिनता है। जो दो मॉडल रुक गए, उनके लिए चैट का आँकड़ा इस आधार पर अनुमानित है कि वे कहाँ रुके।

चैट में एक आम जवाब कुछ सौ से कुछ हज़ार टोकन का होता है। यहाँ हर जॉब को इससे कहीं ज़्यादा चाहिए था, और चैट अनुवाद को तीन में से दो मॉडल के लिए हमारी उदार 64,000 टोकन की सीमा से भी ज़्यादा चाहिए था।

जॉब 1: पूरी लंबाई की सबटाइटल फ़ाइल

हमने 1,200 लाइनों की 85 मिनट की SRT फ़ाइल भेजी और कहा: "Translate this subtitle file into Spanish. Keep the SRT format and the timings."

  • GPT-6.1 Sol ने 1,200 लाइनें लौटाईं, जिनमें हर नंबर और टाइम कोड मूल फ़ाइल जैसा ही था।
  • Gemini 4 Argon ने 1,200 लाइनें लौटाईं, लेकिन लाइन 770 की शुरुआत में 00:54:55,839 लिख दिया, जबकि मूल फ़ाइल में 00:54:45,839 था। अब वह लाइन शुरू होने से करीब पाँच सेकंड पहले ही खत्म हो जाती है। प्लेयर के हिसाब से वह लाइन छूट जाती है या फ़ाइल ही रिजेक्ट हो जाती है।
  • Claude Sonnet 5.5 ने दो छोटी लाइनों ("absence ...", "we know them.") के शब्द पिछली लाइन में मिला दिए और उन्हें हटा दिया, फिर बाकी फ़ाइल की नंबरिंग बिना किसी गैप के कर दी। अनुवाद लाइन 1,198 पर खत्म होता है, और 870 लाइनों का नंबर मूल फ़ाइल से अलग है।

हमारा अपना सबटाइटल अनुवादक इसी फ़ाइल पर चलाया गया। वह मॉडल को सिर्फ़ टेक्स्ट भेजता है, 60 लाइनों तक के ब्लॉक में, जो लाइन वापस नहीं आती उसे दोबारा माँगता है, और हर नंबर व टाइम कोड मूल फ़ाइल से कॉपी करता है। उसने 1,200 लाइनें लौटाईं, सब नंबर और टाइमिंग में एकदम समान। अनुवादित फ़ाइल को दो मिनट में खुद कैसे जाँचें, यह अनुवादित SRT सिंक से बाहर क्यों हो जाती है में बताया गया है।

जॉब 2: 2,000 मैसेज की चैट

हमने WhatsApp के एक्सपोर्ट फ़ॉर्मैट में 2,000 मैसेज की स्पैनिश फ़ैमिली ग्रुप चैट भेजी, इस निर्देश के साथ: "Translate every message in this WhatsApp chat into English. Keep the date, time and name on each message."

  • GPT-6.1 Sol ने लगभग 13 मिनट बाद सभी 2,000 मैसेज लौटाए, हर तारीख, समय और नाम सही सलामत।
  • Gemini 4 Argon मैसेज 1,903 पर 64,000 टोकन की सीमा तक पहुँच गया और टाइमस्टैंप के बीच में ही रुक गया। आखिरी 97 मैसेज गायब हैं।
  • Claude Sonnet 5.5 मैसेज 1,804 पर सीमा तक पहुँच गया और एक नाम के बीच में रुक गया। आखिरी 196 मैसेज गायब हैं, और एक मैसेज का समय 10:25:20 से बदलकर 10:25:40 हो गया।

दोनों मॉडल ने रास्ते में न कोई मैसेज छोड़ा, न उनका सार बनाया। गड़बड़ी बस यह थी कि जगह खत्म हो गई, और जवाब में इसका कोई संकेत नहीं था: टेक्स्ट बीच लाइन में ही खत्म हो जाता है। चैट ऐप में जवाब की सीमा ऐप तय करता है, आप नहीं, और वह अक्सर 64,000 टोकन से कम होती है। एक साल के मैसेज वाला असली एक्सपोर्ट, या ऐसा एक्सपोर्ट जिसमें पहले ट्रांसक्राइब करने लायक वॉइस मैसेज हों, कई गुना बड़ा होता है। हमारा WhatsApp चैट से PDF टूल एक्सपोर्ट को मैसेज के ब्लॉक में बाँटकर पूरा करता है, हर वॉइस मैसेज को उसकी जगह पर ही ट्रांसक्राइब करता है, और हर मूल मैसेज के नीचे अनुवाद रखता है।

जॉब 3: 320 पंक्तियों का बैंक स्टेटमेंट

हमने 10 पेज का स्टेटमेंट टेक्स्ट के रूप में पेस्ट किया, जिसमें निकासी और जमा अलग-अलग कॉलम में थे, और साइन वाली रकम के साथ CSV माँगा।

तीनों मॉडल ने सभी 320 पंक्तियाँ लौटाईं। हर तारीख, विवरण, रकम, साइन और रनिंग बैलेंस हमारी आंसर की से मेल खाया। यह नतीजा बताना ठीक है: इस साइज़ का साफ़, टेक्स्ट वाला स्टेटमेंट आज के मॉडल आराम से संभाल लेते हैं।

हमारे टेस्ट में वह हिस्सा शामिल नहीं था जहाँ स्टेटमेंट में आमतौर पर गड़बड़ी होती है: स्कैन या फ़ोटो वाले PDF, जहाँ हर अंक इमेज से पढ़ना पड़ता है, और ऐसे स्टेटमेंट जो एक जवाब के लिए बहुत लंबे होते हैं। इनके लिए हमारा बैंक स्टेटमेंट कन्वर्टर हर पेज को अलग से पढ़ता है और पंक्तियों को एक टेबल में जोड़ देता है। किसी भी तरीके से करें, रकमें जोड़कर क्लोज़िंग बैलेंस से ज़रूर मिलाएँ।

जॉब 4: 30 पेज का डॉक्यूमेंट

हमने The Prince के अध्याय I से IX (11,729 शब्द, लगभग 30 पेज) पेस्ट किए और बस एक लाइन लिखी: "Translate this document into Spanish."

तीनों ने सभी नौ अध्याय लौटाए। स्पेनिश अनुवाद अंग्रेज़ी के शब्दों की गिनती का 93 से 95 प्रतिशत था, और हर अध्याय में यह अनुपात 0.91 से 1.04 के एक ही संकरे दायरे में रहा, यानी कहीं कुछ छोटा करके नहीं लिखा गया। एक अजीब बात ज़रूर दिखी: Claude Sonnet 5.5 ने अध्याय VIII में क्रूरता के लिए चीनी शब्द 残酷 दो बार लिख दिया, फिर अंत में एक "अनुवादक का नोट" जोड़ दिया, जिसमें पाठक से कहा गया कि वह सही स्पेनिश शब्द खुद बदल ले। ऐसी चीज़ आपको तभी मिलेगी जब आप हर लाइन पढ़ेंगे।

30 पेज तक साफ़ टेक्स्ट के अनुवाद के लिए चैटबॉट एक ठीक विकल्प है। लेकिन 100 पेज का कॉन्ट्रैक्ट या स्कैन किया हुआ PDF अलग तरह का जॉब है: उसके लिए कई जवाब चाहिए, और हर पेज को पहले इमेज से पढ़ना पड़ता है। हमारा PDF अनुवाद हर पेज को अलग से संभालता है, 100 पेज तक, $5 में।

अगर आपका जॉब लंबा है, तो इसका मतलब क्या है

  1. छोटा और साफ़ हो तो चैटबॉट इस्तेमाल करें। कुछ सौ पंक्तियों का स्टेटमेंट, कुछ दर्जन पेज का डॉक्यूमेंट, एक एपिसोड की सबटाइटल फ़ाइल। फिर नतीजा जाँच लें।
  2. पहले अंत जाँचें। इस टेस्ट में हर गड़बड़ी अंत में या किसी गिनती में दिखी: आखिरी लाइन नंबर, आखिरी टाइम कोड, आखिरी मैसेज, क्लोज़िंग बैलेंस, आखिरी अध्याय।
  3. लंबा या सटीक काम हो, तो स्ट्रक्चर मॉडल के हाथ में न छोड़ें। जब जॉब में हर लाइन, मैसेज या टाइम कोड बिना बदलाव के वापस चाहिए, तो ऐसा टूल इस्तेमाल करें जो कंटेंट को टुकड़ों में भेजे और फ़ाइल खुद दोबारा बनाए। हमारे टूल इसी तरह काम करते हैं: पहला हिस्सा बिना अकाउंट के फ़्री है, और पूरा जॉब $5 में, सिर्फ़ एक बार पेमेंट, कोई सब्सक्रिप्शन नहीं।

इस टेस्ट की सीमाएँ

यह हर मॉडल और जॉब के लिए एक ही रन है, API के ज़रिए, और जवाब की लंबाई की जो सीमा हमने तय की थी उसके साथ। दूसरा रन अलग नतीजा दे सकता है, और चैट ऐप की अपनी सीमाएँ और फ़ाइल संभालने के अपने तरीके होते हैं। हमारी चैट और स्टेटमेंट काल्पनिक हैं, स्टेटमेंट PDF नहीं बल्कि साफ़ टेक्स्ट था, और हर अनुवाद सिर्फ़ एक भाषा में हुआ। हम तरीका और आँकड़े इसलिए प्रकाशित करते हैं कि आप अपनी फ़ाइलों से इसे दोहरा सकें, और जब मॉडल बदलेंगे तो हम इसे दोबारा चलाएँगे।

तरीका और डेटा

तारीख़: 20 अक्टूबर 2026। एक्सेस: OpenRouter chat completions API, न कि ChatGPT, Gemini या Claude के ऐप।

मॉडल: openai/gpt-6.1-sol, google/gemini-4-argon, anthropic/claude-sonnet-5.5। हर कंपनी का सामान्य उपयोग वाला मॉडल, एक ही कीमत वाली श्रेणी में (OpenRouter पर $2 प्रति दस लाख इनपुट टोकन, $10 प्रति दस लाख आउटपुट टोकन)। हमने सबसे ऊँची श्रेणियों (GPT-6 Astra, Claude Opus 5.5) को नहीं परखा।

प्रॉम्प्ट: एक यूज़र मैसेज, जैसे कोई व्यक्ति पेस्ट करता है: एक लाइन का निर्देश और उसके बाद पूरी फ़ाइल। कोई सिस्टम प्रॉम्प्ट नहीं, डिफ़ॉल्ट टेम्परेचर, जवाब-सीमा (max_tokens) 64,000। हर मॉडल और जॉब के लिए एक रन, इसलिए दूसरे रन में नतीजे अलग हो सकते हैं।

इनपुट: ऑस्कर वाइल्ड की The Importance of Being Earnest (पब्लिक डोमेन) से 1,200 लाइन की 85 मिनट की SRT फ़ाइल, स्पैनिश में अनुवाद के लिए; WhatsApp एक्सपोर्ट फ़ॉर्मैट में 2,000 मैसेज का एक काल्पनिक स्पैनिश फ़ैमिली ग्रुप चैट, जिसे टेस्ट के लिए चौथे मॉडल (Gemini 3.8 Flash) ने लिखा, अंग्रेज़ी में अनुवाद के लिए; टेक्स्ट के रूप में 10 पेज और 320 पंक्तियों का एक काल्पनिक बैंक स्टेटमेंट, चिह्न वाली रकमों के साथ CSV में बदलने के लिए; मैकियावेली की The Prince के अध्याय I से IX (डब्ल्यू. के. मैरियट का अनुवाद, पब्लिक डोमेन, 11,729 शब्द), स्पैनिश में अनुवाद के लिए।

स्क्रिप्ट से मापा गया: लौटाई गई लाइनें, मैसेज और पंक्तियाँ, जिन्हें टाइम कोड, टाइमस्टैम्प या तारीख़ और बैलेंस के आधार पर स्रोत से मिलाया गया; बदले हुए टाइम कोड; नंबरों का बदलना; चिह्न उलटना; प्रति अध्याय शब्द। लागत: 12 मॉडल रन के लिए $5.08, टेस्ट चैट और हमारे अपने टूल के रन को मिलाकर कुल $5.67।

स्रोत

  1. The Importance of Being Earnest (eBook #844) — Project Gutenberg
  2. The Prince, translated by W. K. Marriott (eBook #1232) — Project Gutenberg
  3. OpenRouter API reference — OpenRouter