我们开发处理长文件任务的工具:完整的字幕文件、完整的 WhatsApp 聊天记录导出文件、完整的流水和文档。我们的页面上写着,AI聊天机器人处理这类任务很吃力。2026年10月20日,我们没有照搬这个说法,而是亲自验证:四项任务、三个模型、每项一条提示词,然后清点它们返回的内容。

结果一览

任务 GPT-6.1 Sol Gemini 4 Argon Claude Sonnet 5.5
将1,200行的 SRT 翻译成西班牙语 1,200 行全部完成(共 1,200 行),所有时间码完好 1,200 行,1 个时间码损坏 1,198 行,2 行被合并,870 行被重新编号
将2,000条消息的聊天记录翻译成英语 2,000 条全部完成(共 2,000 条) 完成 1,903 条,在一条消息中途停止 完成 1,804 条,在一条消息中途停止,1 处时间被改动
将320行的银行流水提取为 CSV 320 行全部完成(共 320 行),0 处错误 320 行全部完成(共 320 行),0 处错误 320 行全部完成(共 320 行),0 处错误
将30页(11,729 词)翻译成西班牙语 9 章全部完成(共 9 章),篇幅为原文的 93% 9 章全部完成(共 9 章),篇幅为原文的 95% 9 章全部完成(共 9 章),篇幅为原文的 94%,夹杂 2 个中文词
每个模型每项任务只运行一次,时间为2026年10月20日,通过 API 调用,回复上限为 64,000 token。并非聊天应用。

有两点很突出。第一,这些模型处理长任务的能力比常见说法要强:四项任务中有两项,每个模型都完整且正确地完成了。第二,我们发现的所有失误都是悄无声息的。没有任何一条回复说“我在这里停下了”或“我合并了两行”。每一条看上去都像是已经完成。

回复需要多长

一项任务能否在一次回复中完成,取决于答案的长度,而不是你上传的文件大小。

任务 输入token 所需输出token 每次回复耗时
字幕,1,200行 38,900至54,300 37,900至55,700 5至8分钟
聊天,2,000条消息 54,700至75,300 52,800至约71,000 5至13分钟
文档,11,729词 15,100至21,300 15,000至26,300 2.5至4.5分钟
流水,320行 8,700至13,900 7,700至13,200 1至2分钟
数值为三个模型的范围。各模型计算token的方式不同,因此token数量也不同。中途停下的两个模型在聊天任务上的数字,是根据它们停下的位置推算出来的。

一般聊天回答只有几百到几千个token。这里的每项任务需要的都多得多,而聊天翻译所需的长度,对三个模型中的两个来说,甚至超过了我们设定的64,000个token的宽松上限。

任务 1:完整长度的字幕文件

我们发送了一个 85 分钟、共 1,200 行的 SRT 文件,并提出要求:“把这个字幕文件翻译成西班牙语。保持 SRT 格式和时间轴。”

  • GPT-6.1 Sol 返回了 1,200 行,所有编号和时间码都与原文一致。
  • Gemini 4 Argon 返回了 1,200 行,但把第 770 行的起始时间写成了 00:54:55,839,而原文是 00:54:45,839。这一行现在比开始时间早近五秒结束。视播放器不同,它会被跳过,或者整个文件被拒绝。
  • Claude Sonnet 5.5 把两个短句(“absence ...”、“we know them.”)的内容并入了前一行并删掉了原行,然后无间断地给其余部分重新编号。译文到第 1,198 行结束,有 870 行的编号与原文不同。

我们自己的字幕翻译工具也处理了同一个文件。它只把文字发送给模型,每块最多 60 行,对返回时缺失的任何一行会再次请求,并从原文复制每一个编号和时间码。它返回了 1,200 行,编号和时间全部一致。如何在两分钟内自己检查翻译后的文件,请看为什么翻译后的 SRT 会与画面不同步。

任务 2:2,000 条消息的聊天记录

我们发送了一份 2,000 条消息的西班牙语家庭群聊,采用 WhatsApp 的导出格式,并给出指令:“把这份 WhatsApp 聊天记录中的每条消息翻译成英语。保留每条消息的日期、时间和姓名。”

  • GPT-6.1 Sol 在将近 13 分钟后返回了全部 2,000 条消息,每个日期、时间和姓名都完好无损。
  • Gemini 4 Argon 在第 1,903 条消息处达到 64,000 token 的上限,并在一个时间戳中间停止。最后 97 条消息缺失。
  • Claude Sonnet 5.5 在第 1,804 条消息处达到上限,并在一个姓名中间停止。最后 196 条消息缺失,另有一条消息的时间从 10:25:20 被改成了 10:25:40。

这两个模型在中途都没有概括或跳过消息。问题只是空间用完了,而回复里没有任何提示:文字在一行中间戛然而止。在聊天应用里,回复上限由应用决定,而不是由你决定,而且通常低于 64,000 token。一份包含一整年消息的真实导出文件,或者包含需要先转写的语音消息的导出文件,体量要大好几倍。我们的 WhatsApp聊天记录转PDF 工具会分块处理导出文件,在语音消息所在位置转写每一条语音消息,并把译文放在每条原消息下方。

任务 3:320 行的银行流水

我们以文本形式粘贴了一份 10 页的流水,支出和收入分列在不同的列中,并要求输出带正负号金额的 CSV。

三个模型都返回了全部 320 行。每个日期、摘要、金额、正负号和滚动余额都与我们的标准答案一致。这个结果可以放心公布:对于这种体量、干净的文本型流水,如今的模型处理起来游刃有余。

我们的测试没有涵盖的,恰恰是流水最容易出错的地方:扫描件或拍照的 PDF,每个数字都必须从图像中识别出来;以及长到一次回复装不下的流水。对于这些情况,我们的银行流水转换器会单独读取每一页,并把各行合并成一张表。无论用哪种方式,都请把金额相加,并与期末余额核对。

任务4:30页的文档

我们粘贴了《君主论》第一至第九章(11,729词,约30页),只附了一句话:"Translate this document into Spanish."

三个模型都返回了全部九章。西班牙语译文的词数是英文原文的93%到95%,而且每一章的比例都落在同样很窄的区间内,从0.91到1.04,说明没有任何内容被压缩。有一处怪现象:Claude Sonnet 5.5 在第八章里两次写出了"残酷"这个中文词(意思是 cruelty),随后在结尾加了一条"译者注",请读者自行替换成正确的西班牙语词。这种问题只有逐行细读才能发现。

对于30页的干净文本,用AI聊天机器人翻译是个合理的选择。但一份100页的合同或一份扫描版PDF就是另一回事了:需要分多次回复才能完成,而且每一页都要先从图片中识别出文字。我们的PDF翻译会逐页单独处理,最多100页,只需$5。

如果你有长篇任务,这意味着什么

  1. 内容短而干净:用AI聊天机器人。 比如几百行的流水、几十页的文档、一集的字幕文件。用完再检查一遍。
  2. 先检查结尾。 这次测试中的每一个失误,都出现在结尾或某个计数上:最后一个行号、最后一个时间码、最后一条消息、期末余额、最后一章。
  3. 内容长或要求精确:别让模型来管结构。 当任务要求每一行、每条消息或每个时间码都原样返回时,请使用把内容分段发送、并由工具自己重建文件的方式。我们的工具就是这样工作的:前段免费,无需注册;完整任务只需$5,一次付费,无需订阅。

本次测试的局限

每个模型、每项任务只运行了一次,通过API调用,回复长度上限由我们设定。再跑一次,结果可能不同;而聊天应用本身还有各自的限制和文件处理方式。我们使用的聊天记录和流水都是虚构的,流水是干净的文本而非PDF,所有翻译也都只翻成了一种语言。我们公开了测试方法和数据,方便你用自己的文件重复测试;模型更新后,我们也会重新测试。

方法与数据

日期: 2026年10月20日。调用方式: OpenRouter 的 chat completions API,而非 ChatGPT、Gemini 或 Claude 的应用。

模型: openai/gpt-6.1-sol、google/gemini-4-argon、anthropic/claude-sonnet-5.5。均为各家公司同一价位的通用模型(在 OpenRouter 上每百万输入 token $2,每百万输出 token $10)。我们没有测试最高档模型(GPT-6 Astra、Claude Opus 5.5)。

提示词: 只有一条用户消息,就像普通人粘贴内容那样:一行指令,后面跟着整个文件。没有系统提示词,温度为默认值,回复上限(max_tokens)为64,000。每个模型每项任务只运行一次,所以再跑一次结果可能不同。

输入内容: 一份85分钟、1,200行的 SRT 文件,取自奥斯卡·王尔德的 《不可儿戏》(The Importance of Being Earnest,公有领域),翻译成西班牙语;一段虚构的2,000条消息的西班牙语家庭群聊,采用 WhatsApp 导出格式,由第四个模型(Gemini 3.8 Flash)专为测试撰写,翻译成英语;一份虚构的10页、320行的文本银行流水,转换为带正负号金额的 CSV;马基雅维利 《君主论》(The Prince)第一章至第九章(W. K. Marriott 英译本,公有领域,共11,729词),翻译成西班牙语。

脚本统计: 返回的行数、消息数和行项数,并按时间码、时间戳或日期与余额同原文逐一比对;被改动的时间码;重新编号;正负号翻转;每章词数。费用: 12次模型运行共 $5.08,加上测试聊天记录和我们自家工具的运行,总计 $5.67。

来源

  1. The Importance of Being Earnest (eBook #844) — Project Gutenberg
  2. The Prince, translated by W. K. Marriott (eBook #1232) — Project Gutenberg
  3. OpenRouter API reference — OpenRouter