Tokens
Las piezas en las que la IA trocea todo el texto.
La analogía
Para la IA, el texto es como una construcción de Lego: no lo ve como palabras completas, sino como piezas más pequeñas llamadas tokens. “Hola” puede ser una sola pieza; “extraordinario” puede ser tres o cuatro. La IA lee y escribe pieza a pieza.
En detalle
Un token es la unidad mínima que procesa el modelo: puede ser una palabra, un trozo de palabra o un signo de puntuación. Los tokenizadores (como BPE) trocean el texto en estas unidades. Importa porque los límites de contexto y los precios de las API se miden en tokens, no en palabras. En español, una palabra suele equivaler a 1,5–2 tokens.
Un ejemplo
La frase “La inteligencia artificial es fascinante” podría dividirse así: “La”, “ inteligencia”, “ artificial”, “ es”, “ fascin”, “ante”. Seis tokens para cinco palabras.