チャットアシスタントが止まる場所：4つの長時間ジョブを検証

NoCutoff は、長いファイルを扱うジョブ向けのツールを作っています。字幕ファイル全体、WhatsApp のエクスポート全体、明細書や文書全体などです。当社のページでは、チャットアシスタントはこうした作業が苦手だと説明しています。2026年10月20日、その主張をただ繰り返すのではなく、実際に検証しました。4つのジョブ、3つのモデル、各1つのプロンプトで、返ってきた結果を数えました。

結果一覧

注目すべき点は2つあります。1つ目は、これらのモデルは一般に言われているよりも長い作業が得意だということです。4つの作業のうち2つは、どのモデルも完全かつ正確に仕上げました。2つ目は、見つかった失敗がすべて、気づきにくい形で起きていたことです。「ここで止まりました」「2行を統合しました」と知らせる返信は1つもなく、どれも完成したように見えました。

返信に必要だった長さ

1回の返信に収まるかどうかを決めるのは、アップロードするファイルの大きさではなく、回答の大きさです。

一般的なチャットの回答は数百〜数千トークン程度です。ここで扱った作業はどれもそれをはるかに上回る量が必要で、トークの翻訳に至っては、3つのうち2つのモデルで、余裕を持たせた64,000トークンの上限でも足りませんでした。

作業1: 全編分の字幕ファイル

85分、1,200行のSRTファイルを送り、「この字幕ファイルをスペイン語に翻訳してください。SRT形式とタイミングは維持してください」と依頼しました。

• GPT-6.1 Sol は1,200行を返し、すべての番号とタイムコードが元のファイルと一致していました。
• Gemini 4 Argon も1,200行を返しましたが、770行目の開始時刻が、元は 00:54:45,839 だったところを 00:54:55,839 と書いていました。そのため、この行は開始の約5秒前に終わることになります。プレーヤーによっては、この行が飛ばされるか、ファイルが読み込めなくなります。
• Claude Sonnet 5.5 は、短い2行(「absence ...」と「we know them.」)の言葉を前の行に移して元の行を削除し、その後は番号を欠番なく振り直しました。翻訳は1,198行目で終わり、870行は元とは違う番号になっています。

当社の字幕翻訳ツールでも同じファイルを処理しました。モデルに送るのはテキストだけで、最大60行ずつのブロックに分け、戻ってこなかった行があれば再度依頼し、番号とタイムコードはすべて元のファイルからコピーします。結果は1,200行で、番号もタイミングもすべて一致していました。翻訳済みファイルを自分で2分ほどで確認する方法は、翻訳したSRTがずれる理由で紹介しています。

作業2: 2,000件のトーク

WhatsAppのエクスポート形式で、スペイン語の家族グループトーク2,000件を送り、「このWhatsAppトークのすべてのメッセージを英語に翻訳してください。各メッセージの日付、時刻、名前は維持してください」と依頼しました。

• GPT-6.1 Sol は約13分かけて2,000件すべてを返し、日付、時刻、名前もすべて無傷でした。
• Gemini 4 Argon は1,903件目で64,000トークンの上限に達し、タイムスタンプの途中で止まりました。最後の97件が欠けています。
• Claude Sonnet 5.5 は1,804件目で上限に達し、名前の途中で止まりました。最後の196件が欠けており、1件のメッセージの時刻も10:25:20から10:25:40に変わっていました。

どちらのモデルも、途中で要約したりメッセージを飛ばしたりはしていません。単に余裕がなくなっただけですが、返信にはそれを示す表示がなく、文が途中で切れているだけです。チャットアプリでは、返信の上限を決めるのはアプリであってあなたではなく、たいていは64,000トークンより低く設定されています。1年分のメッセージがある実際のエクスポートや、先に文字起こしが必要なボイスメッセージを含むものは、さらに数倍の大きさになります。当社のWhatsAppトークをPDFに変換ツールは、エクスポートをメッセージのブロックごとに処理し、すべてのボイスメッセージを送信された位置で文字起こしし、各メッセージの下に翻訳を付けます。

作業3: 320行の銀行明細書

10ページ分の明細書をテキストとして貼り付けました。出金と入金は別々の列になっていて、符号付きの金額でCSVにするよう依頼しました。

3つのモデルすべてが320行を返しました。日付、摘要、金額、符号、残高のすべてが、こちらの正解データと一致していました。これは公平な結果として公開できます。この規模のきれいなテキストベースの明細書は、今のモデルが得意とする範囲に収まっています。

今回のテストで扱っていないのは、明細書で問題が起きやすい場面です。スキャンや撮影したPDFでは、すべての数字を画像から読み取る必要があります。また、1回の返信に収まらないほど長い明細書もあります。そうした場合に使えるのが当社の銀行明細書コンバーターで、各ページを個別に読み取り、行を1つの表にまとめます。どちらの場合でも、金額を合計して最終残高と照合してください。

ジョブ4：30ページのドキュメント

『君主論』の第I章から第IX章（11,729語、約30ページ）を貼り付け、「このドキュメントをスペイン語に翻訳してください」と1行だけ指示しました。

3つとも、9章すべてを返してきました。スペイン語の語数は英語の93〜95パーセントで、比率はどの章でも0.91〜1.04という狭い範囲に収まっており、要約された箇所はありませんでした。ただ、1つ奇妙な点がありました。Claude Sonnet 5.5 は、第VIII章で残酷さを意味する中国語の単語「残酷」を2回書き込み、最後に「翻訳者注」として、読者に正しいスペイン語へ置き換えるよう求めていたのです。こうした点は、1行ずつ読まないと見つかりません。

30ページ程度なら、きれいなテキストの翻訳にはチャットボットで十分な選択肢です。しかし、100ページの契約書やスキャンしたPDFは別の作業になります。何度かに分けて返信させる必要があり、しかも各ページをまず画像から読み取らなければなりません。当社のPDF翻訳では、各ページを個別に処理し、最大100ページまで$5で対応します。

長い作業がある場合に、この結果から言えること

1. 短くてきれいなデータなら、チャットボットで十分です。 数百行の明細書、数十ページのドキュメント、1話分の字幕ファイルなどが該当します。ただし、結果は必ず確認してください。
2. まず末尾を確認しましょう。 このテストで見つかった失敗は、すべて末尾か件数に表れていました。最終行の番号、最後のタイムコード、最後のメッセージ、最終残高、最終章などです。
3. 長い作業や正確さが必要な作業は、構造をモデル任せにしないことです。 すべての行、メッセージ、タイムコードを変更なしで取り戻す必要があるときは、内容を小さく分けて送り、ファイルを自前で組み立て直すツールを使いましょう。当社のツールはその仕組みです。最初の部分は無料でアカウントも不要、ジョブ全体は$5の一回払いのみで、サブスクはありません。

このテストの限界

これはAPI経由で、モデルごと・ジョブごとに1回ずつ実行した結果で、返信の上限は当社が設定したものです。もう一度実行すれば違う結果になる可能性がありますし、チャットアプリには独自の制限やファイルの扱いもあります。また、当社のチャットと明細書は架空のもので、明細書はPDFではなくきれいなテキストでした。翻訳もすべて1言語だけです。お手元のファイルで再現できるよう、方法と数値を公開しています。モデルが変わったときは、改めてテストをやり直します。