Dónde se detienen los chatbots: medimos cuatro trabajos largos

Creamos herramientas para trabajos largos con archivos: archivos de subtítulos completos, exportaciones completas de WhatsApp, extractos y documentos completos. Nuestras páginas dicen que los chatbots tienen dificultades con esto. El 20 de octubre de 2026 pusimos a prueba esa afirmación en lugar de repetirla: cuatro trabajos, tres modelos y un prompt cada uno, y contamos lo que devolvieron.

Resultados de un vistazo

Hay dos cosas que llaman la atención. Primero, estos modelos manejan mejor los trabajos largos de lo que sugiere el consejo habitual: dos de los cuatro trabajos salieron completos y correctos en todos los modelos. Segundo, todos los fallos que encontramos fueron silenciosos. Ninguna respuesta decía "me detuve aquí" o "fusioné dos líneas". Todas parecían terminadas.

Qué extensión debían tener las respuestas

Lo que decide si un trabajo cabe en una sola respuesta es el tamaño de la respuesta, no el del archivo que subes.

Una respuesta típica de un chatbot tiene de unos cientos a unos pocos miles de tokens. Todos los trabajos de esta prueba necesitaban mucho más, y la traducción del chat requería más que nuestro generoso límite de 64,000 tokens en dos de los tres modelos.

Trabajo 1: un archivo de subtítulos completo

Enviamos un archivo SRT de 85 minutos con 1,200 líneas y pedimos: "Traduce este archivo de subtítulos al español. Conserva el formato SRT y los tiempos."

• GPT-6.1 Sol devolvió 1,200 líneas con todos los números y códigos de tiempo idénticos a los del original.
• Gemini 4 Argon devolvió 1,200 líneas, pero escribió 00:54:55,839 como inicio de la línea 770 donde el original decía 00:54:45,839. Esa línea ahora termina casi cinco segundos antes de empezar. Según el reproductor, se omite o se rechaza el archivo.
• Claude Sonnet 5.5 pasó las palabras de dos líneas cortas ("absence ...", "we know them.") a la línea anterior y las eliminó, y luego numeró el resto del archivo sin dejar ningún hueco. La traducción termina en la línea 1,198, y 870 líneas llevan un número distinto al del original.

Nuestro propio traductor de subtítulos procesó el mismo archivo. Envía solo el texto a un modelo, en bloques de hasta 60 líneas, vuelve a pedir cualquier línea que falte en la respuesta y copia del original todos los números y códigos de tiempo. Devolvió 1,200 líneas, todas idénticas en numeración y tiempos. Cómo comprobar tú mismo un archivo traducido en dos minutos está en por qué un SRT traducido se desincroniza.

Trabajo 2: un chat de 2,000 mensajes

Enviamos un chat de grupo familiar en español, de 2,000 mensajes, en el formato de exportación de WhatsApp, con la instrucción: "Traduce al inglés todos los mensajes de este chat de WhatsApp. Conserva la fecha, la hora y el nombre de cada mensaje."

• GPT-6.1 Sol devolvió los 2,000 mensajes con todas las fechas, horas y nombres intactos, tras casi 13 minutos.
• Gemini 4 Argon llegó al límite de 64,000 tokens en el mensaje 1,903 y se detuvo a mitad de una marca de tiempo. Faltan los últimos 97 mensajes.
• Claude Sonnet 5.5 llegó al límite en el mensaje 1,804 y se detuvo a mitad de un nombre. Faltan los últimos 196 mensajes, y la hora de un mensaje cambió de 10:25:20 a 10:25:40.

Ninguno de los dos modelos resumió ni se saltó mensajes por el camino. El fallo fue simplemente quedarse sin espacio, y la respuesta no daba ninguna señal: el texto termina a mitad de línea. En una app de chat, el límite de respuesta lo fija la app, no tú, y suele ser inferior a 64,000 tokens. Una exportación real con un año de mensajes, o con mensajes de voz que primero hay que transcribir, es varias veces más grande. Nuestra herramienta Chat de WhatsApp a PDF recorre la exportación en bloques de mensajes, transcribe cada mensaje de voz en el lugar donde se envió y coloca la traducción debajo de cada mensaje original.

Trabajo 3: un extracto bancario de 320 filas

Pegamos como texto un extracto de 10 páginas, con los egresos y los ingresos en columnas separadas, y pedimos un CSV con importes con signo.

Los tres modelos devolvieron las 320 filas. Todas las fechas, descripciones, importes, signos y saldos acumulados coincidían con nuestra clave de respuestas. Es un resultado justo de publicar: un extracto limpio, basado en texto, de este tamaño está dentro de lo que los modelos actuales hacen bien.

Lo que nuestra prueba no cubrió es donde los extractos suelen fallar: los PDF escaneados o fotografiados, en los que hay que leer cada dígito a partir de una imagen, y los extractos demasiado largos para una sola respuesta. Para esos casos, nuestro convertidor de extractos bancarios lee cada página por separado y une las filas en una sola tabla. En cualquier caso, suma los importes y compáralos con el saldo final.

Trabajo 4: un documento de 30 páginas

Pegamos los capítulos I al IX de El príncipe (11,729 palabras, unas 30 páginas) con una sola línea: "Traduce este documento al español".

Los tres devolvieron los nueve capítulos completos. El texto en español tenía entre el 93 y el 95 por ciento de las palabras del original en inglés, y la proporción se mantuvo dentro del mismo margen estrecho en todos los capítulos, de 0.91 a 1.04, así que no se resumió nada. Una rareza: Claude Sonnet 5.5 escribió 残酷, la palabra china para crueldad, dos veces en el capítulo VIII, y luego añadió al final una "nota del traductor" pidiendo al lector que la sustituyera por las palabras correctas en español. Solo lo descubrirías leyendo cada línea.

Con 30 páginas, un chatbot es una opción razonable para traducir texto limpio. Un contrato de 100 páginas o un PDF escaneado es otro tipo de trabajo: requiere varias respuestas y cada página tiene que leerse antes desde una imagen. Nuestro traductor de PDF procesa cada página por separado, hasta 100 páginas por $5.

Qué significa esto si tienes un trabajo largo

1. Corto y limpio: usa un chatbot. Un extracto de unos cientos de filas, un documento de unas pocas decenas de páginas, un archivo de subtítulos de un episodio. Después, compruébalo.
2. Revisa primero el final. Todos los fallos de esta prueba aparecen al final o en un recuento: el número de la última línea, el último código de tiempo, el último mensaje, el saldo final, el último capítulo.
3. Largo o exacto: no dejes la estructura en manos del modelo. Cuando un trabajo necesita recuperar sin cambios cada línea, mensaje o código de tiempo, usa una herramienta que envíe el contenido por partes y reconstruya el archivo por sí misma. Así funcionan nuestras herramientas: la primera parte es gratis y sin registro, y el trabajo completo cuesta $5, con pago único y sin suscripción.

Límites de esta prueba

Se trata de una sola ejecución por modelo y trabajo, a través de la API, con un límite de respuesta que fijamos nosotros. Una segunda ejecución podría dar resultados distintos, y las aplicaciones de chat añaden sus propios límites y su propio manejo de archivos. Nuestro chat y nuestro extracto son ficticios, el extracto era texto limpio y no un PDF, y todas las traducciones se hicieron a un solo idioma. Publicamos el método y las cifras para que puedas repetir la prueba con tus propios archivos, y volveremos a ejecutarla cuando cambien los modelos.