채팅형 AI가 멈추는 지점: 긴 작업 4가지를 직접 측정했습니다

저희는 자막 파일 전체, WhatsApp 내보내기 전체, 거래내역서와 문서 전체처럼 긴 파일 작업을 위한 도구를 만듭니다. 저희 페이지에는 AI 챗봇이 이런 작업에 약하다고 적혀 있습니다. 2026년 10월 20일, 이 주장을 그대로 반복하는 대신 직접 검증했습니다. 네 가지 작업, 세 가지 모델, 모델당 프롬프트 하나로 돌아온 결과를 일일이 세어 보았습니다.

결과 한눈에 보기

눈에 띄는 점이 두 가지 있습니다. 첫째, 이 모델들은 흔히 하는 조언보다 긴 작업을 훨씬 잘 처리합니다. 네 가지 작업 중 두 가지는 모든 모델이 완전하고 정확하게 끝냈습니다. 둘째, 우리가 확인한 실패는 모두 조용히 일어났습니다. "여기서 멈췄습니다"나 "두 줄을 합쳤습니다"라고 알려 주는 응답은 하나도 없었습니다. 모두 끝난 것처럼 보였습니다.

응답은 얼마나 길어야 했을까

작업이 한 번의 응답에 들어가는지는 업로드하는 파일의 크기가 아니라 답변의 크기가 결정합니다.

일반적인 챗 답변은 수백에서 수천 토큰 정도입니다. 여기 나온 작업은 모두 그보다 훨씬 많은 토큰이 필요했고, 대화 번역은 세 모델 중 두 모델에서 넉넉하게 잡은 64,000토큰 상한보다도 더 많이 필요했습니다.

작업 1: 전체 길이의 자막 파일

1,200줄, 85분 분량의 SRT 파일을 보내고 "이 자막 파일을 스페인어로 번역해 주세요. SRT 형식과 타이밍은 그대로 유지해 주세요."라고 요청했습니다.

• GPT-6.1 Sol은 모든 번호와 타임코드가 원본과 똑같은 1,200줄을 돌려줬습니다.
• Gemini 4 Argon도 1,200줄을 돌려줬지만, 770번 줄의 시작 시간을 원본의 00:54:45,839 대신 00:54:55,839로 적었습니다. 그 결과 이 줄은 시작하기 거의 5초 전에 끝납니다. 재생기에 따라 이 줄이 건너뛰어지거나 파일이 아예 거부됩니다.
• Claude Sonnet 5.5는 짧은 두 줄("absence ...", "we know them.")의 내용을 앞 줄로 옮겨 합치고 해당 줄을 삭제한 뒤, 나머지 파일에는 빈 번호 없이 새로 번호를 매겼습니다. 번역은 1,198번 줄에서 끝나고, 870줄은 원본과 다른 번호를 갖게 됐습니다.

같은 파일로 NoCutoff의 자막 번역기도 실행해 봤습니다. 자막 번역기는 텍스트만 최대 60줄씩 묶어 모델에 보내고, 빠져서 돌아온 줄이 있으면 다시 요청하며, 모든 번호와 타임코드는 원본에서 그대로 가져옵니다. 결과는 번호와 타이밍이 모두 똑같은 1,200줄이었습니다. 번역된 파일을 2분 만에 직접 확인하는 방법은 번역한 SRT의 싱크가 어긋나는 이유에서 볼 수 있습니다.

작업 2: 2,000개 메시지 대화

WhatsApp 내보내기 형식의 스페인어 가족 단체 대화방 메시지 2,000개를 보내고 "이 WhatsApp 대화의 모든 메시지를 영어로 번역해 주세요. 각 메시지의 날짜, 시간, 이름은 그대로 유지해 주세요."라고 요청했습니다.

• GPT-6.1 Sol은 거의 13분 만에 날짜, 시간, 이름이 모두 온전한 2,000개 메시지 전체를 돌려줬습니다.
• Gemini 4 Argon은 1,903번째 메시지에서 64,000토큰 상한에 도달해 타임스탬프 중간에서 멈췄습니다. 마지막 97개 메시지가 빠져 있습니다.
• Claude Sonnet 5.5는 1,804번째 메시지에서 상한에 도달해 이름 중간에서 멈췄습니다. 마지막 196개 메시지가 빠져 있고, 메시지 시간 하나가 10:25:20에서 10:25:40으로 바뀌었습니다.

두 모델 모두 중간에 메시지를 요약하거나 건너뛰지는 않았습니다. 실패의 원인은 단순히 공간이 모자랐다는 것이고, 응답은 이를 전혀 알리지 않았습니다. 글이 문장 중간에서 그냥 끝날 뿐입니다. 챗 앱에서는 응답 한도를 사용자가 아니라 앱이 정하며, 보통 64,000토큰보다 낮습니다. 1년 치 메시지가 담긴 실제 내보내기 파일이나, 먼저 텍스트 변환이 필요한 음성 메시지가 포함된 파일은 이보다 몇 배나 큽니다. NoCutoff의 WhatsApp 대화 PDF 변환 도구는 내보내기 파일을 메시지 블록 단위로 나눠 처리하고, 모든 음성 메시지를 보낸 위치에서 텍스트로 변환하며, 각 원본 메시지 아래에 번역문을 넣어 줍니다.

작업 3: 320행짜리 은행 거래내역서

출금과 입금이 별도 열로 나뉜 10쪽짜리 거래내역서를 텍스트로 붙여 넣고, 부호가 있는 금액으로 된 CSV를 요청했습니다.

세 모델 모두 320행 전체를 돌려줬습니다. 모든 날짜, 내역, 금액, 부호, 잔액이 정답지와 일치했습니다. 공개할 만한 공정한 결과입니다. 이 정도 분량의 깔끔한 텍스트 기반 거래내역서는 오늘날의 모델이 충분히 잘 처리하는 범위에 속합니다.

이번 테스트에서 다루지 않은 부분이 거래내역서에서 보통 문제가 생기는 곳입니다. 모든 숫자를 이미지에서 읽어야 하는 스캔본이나 사진 PDF, 그리고 한 번의 응답에 담기에는 너무 긴 거래내역서가 그렇습니다. 이런 경우에는 NoCutoff의 은행 거래내역서 변환기가 각 페이지를 따로 읽은 뒤 행을 하나의 표로 합쳐 줍니다. 어떤 방법을 쓰든 금액을 모두 더해 최종 잔액과 비교해 보세요.

작업 4: 30쪽 분량의 문서

《군주론》 1장부터 9장까지(11,729단어, 약 30쪽)를 붙여 넣고 한 줄만 입력했습니다. "이 문서를 스페인어로 번역해 줘."

세 모델 모두 아홉 장 전체를 번역해 돌려주었습니다. 스페인어 번역문의 분량은 영어 단어 수의 93~95퍼센트였고, 장마다 그 비율이 0.91에서 1.04 사이의 좁은 범위에 머물렀습니다. 즉, 내용을 줄여 요약한 곳은 없었습니다. 한 가지 이상한 점이 있었는데, Claude Sonnet 5.5가 8장에서 잔혹함을 뜻하는 중국어 단어 残酷를 두 번 써 넣고, 끝에 독자가 알맞은 스페인어 단어로 바꿔 읽어 달라는 "번역자 주"를 덧붙였습니다. 이런 문제는 모든 줄을 직접 읽어야만 찾을 수 있습니다.

30쪽 정도라면 깔끔한 텍스트를 번역할 때 AI 챗봇도 충분히 괜찮은 선택입니다. 하지만 100쪽짜리 계약서나 스캔한 PDF는 다른 작업입니다. 여러 번에 나눠 답변을 받아야 하고, 모든 페이지를 먼저 이미지에서 읽어 내야 하니까요. 저희 PDF 번역은 페이지를 하나씩 따로 처리하며, 최대 100쪽까지 $5에 이용할 수 있습니다.

긴 작업이 있다면 이렇게 하세요

1. 짧고 깔끔하다면 AI 챗봇을 쓰세요. 수백 행짜리 거래내역서, 수십 쪽 분량의 문서, 한 편 분량의 자막 파일이 여기에 해당합니다. 다만 결과는 꼭 확인하세요.
2. 끝부분부터 확인하세요. 이번 테스트에서 나타난 모든 실패는 끝부분이나 개수에서 드러났습니다. 마지막 줄 번호, 마지막 타임코드, 마지막 메시지, 마감 잔액, 마지막 장이 그 예입니다.
3. 길거나 정확해야 한다면 구조는 모델에 맡기지 마세요. 모든 줄, 메시지, 타임코드를 그대로 돌려받아야 하는 작업이라면, 내용을 나눠서 보내고 파일은 직접 다시 조립하는 도구를 쓰세요. 저희 도구가 바로 이런 방식으로 작동합니다. 첫 부분 무료이고 회원가입 없이 이용할 수 있으며, 전체 작업은 $5에 1회 결제로 끝나고 구독 없음입니다.

이번 테스트의 한계

이번 테스트는 모델과 작업마다 API로 한 번씩 실행한 결과이며, 답변 길이 상한은 저희가 정했습니다. 다시 실행하면 결과가 달라질 수 있고, 채팅 앱은 자체적인 제한과 파일 처리 방식을 따로 적용합니다. 테스트에 쓴 대화와 거래내역서는 가상의 자료이고, 거래내역서는 PDF가 아닌 깔끔한 텍스트였으며, 번역은 모두 한 가지 언어로만 진행했습니다. 직접 가지고 있는 파일로 똑같이 해 볼 수 있도록 방법과 수치를 공개하며, 모델이 바뀌면 테스트를 다시 진행하겠습니다.