Parameter
Die Millionen internen „Regler“, in denen das Gelernte steckt.
Der Vergleich
Stell dir ein Mischpult mit Milliarden winziger Regler vor. Während des Trainings dreht jedes Beispiel ein paar davon ein Stückchen, bis der „Song“ richtig klingt. Was das Modell gelernt hat, ist nicht als Sätze gespeichert – sondern als exakte Stellung all dieser Regler.
Im Detail
Parameter (oder Gewichte) sind die justierbaren Zahlen des neuronalen Netzes; sie werden im Training festgelegt und bestimmen, wie jede Eingabe transformiert wird. „7B“ oder „70B“ stehen für Milliarden Parameter. Mehr Parameter bedeuten meist mehr Fähigkeiten, aber auch höhere Trainings- und Betriebskosten; die Datenqualität zählt ebenso viel wie die Größe.
Ein Beispiel
Ein „7B“-Modell läuft auf einem starken Laptop und antwortet schnell; eines mit Hunderten Milliarden braucht Spezialserver. Deshalb gibt es Modellfamilien in verschiedenen Größen für verschiedene Zwecke.