Finestra di contesto
La memoria di lavoro del modello: ciò che non ci sta, non esiste.
L'analogia
Pensa a una scrivania da studio: ci stanno i tuoi appunti, un libro e poco altro. Se vuoi aggiungere un atlante gigante, qualcosa deve uscire dalla scrivania. La finestra di contesto è quella scrivania: il modello può «vedere» solo ciò che ci sta sopra in quel momento.
Nel dettaglio
È il numero massimo di token che il modello può elaborare in una volta, sommando il tuo prompt, la conversazione precedente e la sua stessa risposta. Se la conversazione supera il limite, i messaggi più vecchi vengono troncati o riassunti e il modello li «dimentica». I modelli attuali gestiscono da migliaia a milioni di token.
Un esempio
Incolli un contratto di 300 pagine e chiedi della clausola 2. Se il documento supera la finestra, può darsi che il modello non abbia mai «letto» quella parte: meglio spezzarlo o usare tecniche come il RAG.