Paramètres
Les millions de « boutons » internes où vit tout ce qui a été appris.
L'analogie
Imaginez une table de mixage avec des milliards de minuscules boutons. Pendant l'entraînement, chaque exemple en tourne légèrement quelques-uns jusqu'à ce que la « chanson » sonne juste. Ce que le modèle a appris n'est pas stocké sous forme de phrases : c'est la position exacte de tous ces boutons.
En détail
Les paramètres (ou poids) sont les nombres ajustables du réseau de neurones ; ils sont fixés pendant l'entraînement et déterminent la transformation de chaque entrée. « 7B » ou « 70B » signifient des milliards de paramètres. Plus de paramètres apportent en général plus de capacités, mais aussi plus de coûts d'entraînement et d'inférence ; la qualité des données compte autant que la taille.
Un exemple
Un modèle « 7B » tient sur un ordinateur portable puissant et répond vite ; un modèle de centaines de milliards exige des serveurs spécialisés. C'est pourquoi les familles de modèles existent en plusieurs tailles pour différents usages.