我们开发处理长文件任务的工具:完整的字幕文件、完整的 WhatsApp 聊天记录导出文件、完整的流水和文档。我们的页面上写着,AI聊天机器人处理这类任务很吃力。2026年10月20日,我们没有照搬这个说法,而是亲自验证:四项任务、三个模型、每项一条提示词,然后清点它们返回的内容。
结果一览
| 任务 | GPT-6.1 Sol | Gemini 4 Argon | Claude Sonnet 5.5 |
|---|---|---|---|
| 将1,200行的 SRT 翻译成西班牙语 | 1,200 行全部完成(共 1,200 行),所有时间码完好 | 1,200 行,1 个时间码损坏 | 1,198 行,2 行被合并,870 行被重新编号 |
| 将2,000条消息的聊天记录翻译成英语 | 2,000 条全部完成(共 2,000 条) | 完成 1,903 条,在一条消息中途停止 | 完成 1,804 条,在一条消息中途停止,1 处时间被改动 |
| 将320行的银行流水提取为 CSV | 320 行全部完成(共 320 行),0 处错误 | 320 行全部完成(共 320 行),0 处错误 | 320 行全部完成(共 320 行),0 处错误 |
| 将30页(11,729 词)翻译成西班牙语 | 9 章全部完成(共 9 章),篇幅为原文的 93% | 9 章全部完成(共 9 章),篇幅为原文的 95% | 9 章全部完成(共 9 章),篇幅为原文的 94%,夹杂 2 个中文词 |
有两点很突出。第一,这些模型处理长任务的能力比常见说法要强:四项任务中有两项,每个模型都完整且正确地完成了。第二,我们发现的所有失误都是悄无声息的。没有任何一条回复说“我在这里停下了”或“我合并了两行”。每一条看上去都像是已经完成。
回复需要多长
一项任务能否在一次回复中完成,取决于答案的长度,而不是你上传的文件大小。
| 任务 | 输入token | 所需输出token | 每次回复耗时 |
|---|---|---|---|
| 字幕,1,200行 | 38,900至54,300 | 37,900至55,700 | 5至8分钟 |
| 聊天,2,000条消息 | 54,700至75,300 | 52,800至约71,000 | 5至13分钟 |
| 文档,11,729词 | 15,100至21,300 | 15,000至26,300 | 2.5至4.5分钟 |
| 流水,320行 | 8,700至13,900 | 7,700至13,200 | 1至2分钟 |
一般聊天回答只有几百到几千个token。这里的每项任务需要的都多得多,而聊天翻译所需的长度,对三个模型中的两个来说,甚至超过了我们设定的64,000个token的宽松上限。
任务 1:完整长度的字幕文件
我们发送了一个 85 分钟、共 1,200 行的 SRT 文件,并提出要求:“把这个字幕文件翻译成西班牙语。保持 SRT 格式和时间轴。”
- GPT-6.1 Sol 返回了 1,200 行,所有编号和时间码都与原文一致。
- Gemini 4 Argon 返回了 1,200 行,但把第 770 行的起始时间写成了
00:54:55,839,而原文是00:54:45,839。这一行现在比开始时间早近五秒结束。视播放器不同,它会被跳过,或者整个文件被拒绝。 - Claude Sonnet 5.5 把两个短句(“absence ...”、“we know them.”)的内容并入了前一行并删掉了原行,然后无间断地给其余部分重新编号。译文到第 1,198 行结束,有 870 行的编号与原文不同。
我们自己的字幕翻译工具也处理了同一个文件。它只把文字发送给模型,每块最多 60 行,对返回时缺失的任何一行会再次请求,并从原文复制每一个编号和时间码。它返回了 1,200 行,编号和时间全部一致。如何在两分钟内自己检查翻译后的文件,请看为什么翻译后的 SRT 会与画面不同步。
任务 2:2,000 条消息的聊天记录
我们发送了一份 2,000 条消息的西班牙语家庭群聊,采用 WhatsApp 的导出格式,并给出指令:“把这份 WhatsApp 聊天记录中的每条消息翻译成英语。保留每条消息的日期、时间和姓名。”
- GPT-6.1 Sol 在将近 13 分钟后返回了全部 2,000 条消息,每个日期、时间和姓名都完好无损。
- Gemini 4 Argon 在第 1,903 条消息处达到 64,000 token 的上限,并在一个时间戳中间停止。最后 97 条消息缺失。
- Claude Sonnet 5.5 在第 1,804 条消息处达到上限,并在一个姓名中间停止。最后 196 条消息缺失,另有一条消息的时间从 10:25:20 被改成了 10:25:40。
这两个模型在中途都没有概括或跳过消息。问题只是空间用完了,而回复里没有任何提示:文字在一行中间戛然而止。在聊天应用里,回复上限由应用决定,而不是由你决定,而且通常低于 64,000 token。一份包含一整年消息的真实导出文件,或者包含需要先转写的语音消息的导出文件,体量要大好几倍。我们的 WhatsApp聊天记录转PDF 工具会分块处理导出文件,在语音消息所在位置转写每一条语音消息,并把译文放在每条原消息下方。
任务 3:320 行的银行流水
我们以文本形式粘贴了一份 10 页的流水,支出和收入分列在不同的列中,并要求输出带正负号金额的 CSV。
三个模型都返回了全部 320 行。每个日期、摘要、金额、正负号和滚动余额都与我们的标准答案一致。这个结果可以放心公布:对于这种体量、干净的文本型流水,如今的模型处理起来游刃有余。
我们的测试没有涵盖的,恰恰是流水最容易出错的地方:扫描件或拍照的 PDF,每个数字都必须从图像中识别出来;以及长到一次回复装不下的流水。对于这些情况,我们的银行流水转换器会单独读取每一页,并把各行合并成一张表。无论用哪种方式,都请把金额相加,并与期末余额核对。
任务4:30页的文档
我们粘贴了《君主论》第一至第九章(11,729词,约30页),只附了一句话:"Translate this document into Spanish."
三个模型都返回了全部九章。西班牙语译文的词数是英文原文的93%到95%,而且每一章的比例都落在同样很窄的区间内,从0.91到1.04,说明没有任何内容被压缩。有一处怪现象:Claude Sonnet 5.5 在第八章里两次写出了"残酷"这个中文词(意思是 cruelty),随后在结尾加了一条"译者注",请读者自行替换成正确的西班牙语词。这种问题只有逐行细读才能发现。
对于30页的干净文本,用AI聊天机器人翻译是个合理的选择。但一份100页的合同或一份扫描版PDF就是另一回事了:需要分多次回复才能完成,而且每一页都要先从图片中识别出文字。我们的PDF翻译会逐页单独处理,最多100页,只需$5。
如果你有长篇任务,这意味着什么
- 内容短而干净:用AI聊天机器人。 比如几百行的流水、几十页的文档、一集的字幕文件。用完再检查一遍。
- 先检查结尾。 这次测试中的每一个失误,都出现在结尾或某个计数上:最后一个行号、最后一个时间码、最后一条消息、期末余额、最后一章。
- 内容长或要求精确:别让模型来管结构。 当任务要求每一行、每条消息或每个时间码都原样返回时,请使用把内容分段发送、并由工具自己重建文件的方式。我们的工具就是这样工作的:前段免费,无需注册;完整任务只需$5,一次付费,无需订阅。
本次测试的局限
每个模型、每项任务只运行了一次,通过API调用,回复长度上限由我们设定。再跑一次,结果可能不同;而聊天应用本身还有各自的限制和文件处理方式。我们使用的聊天记录和流水都是虚构的,流水是干净的文本而非PDF,所有翻译也都只翻成了一种语言。我们公开了测试方法和数据,方便你用自己的文件重复测试;模型更新后,我们也会重新测试。
方法与数据
日期: 2026年10月20日。调用方式: OpenRouter 的 chat completions API,而非 ChatGPT、Gemini 或 Claude 的应用。
模型: openai/gpt-6.1-sol、google/gemini-4-argon、anthropic/claude-sonnet-5.5。均为各家公司同一价位的通用模型(在 OpenRouter 上每百万输入 token $2,每百万输出 token $10)。我们没有测试最高档模型(GPT-6 Astra、Claude Opus 5.5)。
提示词: 只有一条用户消息,就像普通人粘贴内容那样:一行指令,后面跟着整个文件。没有系统提示词,温度为默认值,回复上限(max_tokens)为64,000。每个模型每项任务只运行一次,所以再跑一次结果可能不同。
输入内容: 一份85分钟、1,200行的 SRT 文件,取自奥斯卡·王尔德的 《不可儿戏》(The Importance of Being Earnest,公有领域),翻译成西班牙语;一段虚构的2,000条消息的西班牙语家庭群聊,采用 WhatsApp 导出格式,由第四个模型(Gemini 3.8 Flash)专为测试撰写,翻译成英语;一份虚构的10页、320行的文本银行流水,转换为带正负号金额的 CSV;马基雅维利 《君主论》(The Prince)第一章至第九章(W. K. Marriott 英译本,公有领域,共11,729词),翻译成西班牙语。
脚本统计: 返回的行数、消息数和行项数,并按时间码、时间戳或日期与余额同原文逐一比对;被改动的时间码;重新编号;正负号翻转;每章词数。费用: 12次模型运行共 $5.08,加上测试聊天记录和我们自家工具的运行,总计 $5.67。
来源
- The Importance of Being Earnest (eBook #844) — Project Gutenberg
- The Prince, translated by W. K. Marriott (eBook #1232) — Project Gutenberg
- OpenRouter API reference — OpenRouter