Transformer
L'architettura che ha reso possibile tutto il resto.
L'analogia
A una festa non ascolti tutti allo stesso modo: presti attenzione a chi dice qualcosa di rilevante per te. Il transformer ha dato alle macchine questa abilità: l'«attenzione» permette a ogni parola di guardare tutte le altre e decidere quali contano per il suo significato.
Nel dettaglio
Architettura di rete neurale presentata nel 2017 nell'articolo «Attention Is All You Need». Il suo meccanismo di auto-attenzione elabora tutte le posizioni della sequenza in parallelo e cattura relazioni a lunga distanza, rendendola molto più addestrabile su larga scala delle reti ricorrenti precedenti. GPT, Claude, Gemini e Llama sono transformer.
Un esempio
In «Il gatto che abbiamo visto ieri al parco dormiva», per capire «dormiva» il modello deve collegarlo a «il gatto», otto parole più indietro. L'attenzione fa esattamente questo.