Token
Qué es
Un token es una unidad pequeña de texto que un modelo de lenguaje utiliza para leer y generar contenido. No equivale siempre a una palabra. Puede ser una palabra completa, una parte de una palabra, un signo de puntuación o incluso un espacio combinado con otros caracteres. El modo exacto de dividir el texto depende del sistema y del idioma.
Los modelos no procesan un documento como una persona que ve páginas y párrafos. Primero lo convierten en una secuencia de tokens. Esa secuencia ocupa espacio dentro de la capacidad disponible y también puede influir en el coste y el tiempo de respuesta de una herramienta. Tanto la petición como los documentos aportados y la respuesta generada consumen tokens.
Un ejemplo en el trabajo
Un equipo quiere resumir un informe anual de 180 páginas. Aunque el archivo parezca manejable, puede contener más tokens de los que admite la herramienta en una sola consulta. El equipo tendrá que dividirlo por secciones, extraer primero los capítulos relevantes o usar un sistema que recupere solo los fragmentos relacionados con cada pregunta.
¿Por qué importa?
Porque explica por qué no siempre es posible pegar todos los documentos de una empresa y esperar una respuesta perfecta. También ayuda a entender límites de longitud, respuestas cortadas y costes variables. En una automatización que procesa miles de correos, una instrucción innecesariamente larga repetida en cada operación puede aumentar el consumo sin aportar valor.
No hace falta contar tokens manualmente para cada tarea cotidiana. Basta con recordar tres ideas: los textos largos ocupan más capacidad, la conversación anterior también puede ocuparla y una respuesta extensa necesita espacio para generarse. Si una herramienta pierde detalles de un documento grande, conviene reducir el material, separar la tarea o usar recuperación de información. El token es una medida técnica, pero sus efectos son prácticos: capacidad, velocidad, coste y cantidad de contexto disponible.
Las definiciones del glosario son orientativas y describen el funcionamiento general de estas herramientas. Comprueba siempre las condiciones de la herramienta que utilices.