Token
I pezzi in cui l'IA scompone tutto il testo.
L'analogia
Per l'IA il testo è come una costruzione Lego: non lo vede come parole intere, ma come pezzi più piccoli chiamati token. «Ciao» può essere un pezzo solo; «straordinario» può essere tre o quattro. L'IA legge e scrive pezzo per pezzo.
Nel dettaglio
Un token è l'unità minima che il modello elabora: può essere una parola, un frammento di parola o un segno di punteggiatura. I tokenizzatori (come BPE) suddividono il testo in queste unità. Conta perché i limiti di contesto e i prezzi delle API si misurano in token, non in parole. In italiano una parola equivale in media a 1,5–2 token.
Un esempio
La frase «L'intelligenza artificiale è affascinante» potrebbe essere divisa così: «L'», «intelligenza», « artificiale», « è», « affascin», «ante». Sei token per quattro parole.