Fine-Tuning.

Beim Fine-Tuning bekommt ein fertig trainiertes Modell zusätzliche Beispielpaare aus Eingabe und gewünschter Ausgabe, und seine Gewichte werden daraufhin leicht angepasst. Das vollständige Nachtrainieren aller Parameter ist teuer, weshalb sich sparsame Verfahren durchgesetzt haben: Bei LoRA und verwandten Ansätzen bleibt das Grundmodell unangetastet, trainiert werden nur kleine zusätzliche Matrizen, die beim Rechnen dazugeschaltet werden. Das senkt Rechenbedarf und Speicherbedarf erheblich und erlaubt es, mehrere spezialisierte Varianten auf demselben Grundmodell zu betreiben, ohne es mehrfach vorzuhalten.

Fine-Tuning hilft dort, wo Verhalten wiederholt und exakt getroffen werden muss. Typisch sind ein festes Ausgabeformat, eine bestimmte Tonalität, die Zuordnung zu einem eigenen Kategoriensystem oder branchenübliche Formulierungen, die ein allgemeines Modell nicht kennt. Es hilft nicht bei Aktualität und nicht bei Faktenwissen: Wer eine Preisliste ins Modell trainiert, hat sie beim nächsten Update erneut zu trainieren und weiss trotzdem nie, ob das Modell die alte oder die neue Fassung wiedergibt. Für Wissen, das sich ändert, ist Retrieval die richtige Antwort, nicht Training.

Der Aufwand steckt in den Daten, nicht in der Technik. Die Grössenordnung liegt je nach Aufgabe bei einigen hundert bis wenigen tausend sauberen Beispielen, und Qualität schlägt Menge deutlich: Widersprüchliche Beispiele bringen dem Modell zuverlässig bei, sich widersprüchlich zu verhalten. Vor jedem Training braucht es ausserdem einen Testsatz, der nicht mittrainiert wird, sonst lässt sich die Verbesserung nicht belegen. Und es entsteht eine Wartungspflicht: Wird das Grundmodell abgelöst, muss die eigene Variante neu erstellt und neu geprüft werden.

Ein Anwendungsfall aus dem Alltag: Ein Betrieb will eingehende Support-Nachrichten in zwölf hauseigene Kategorien einsortieren. Der richtige Ablauf beginnt nicht mit Training, sondern mit einem Testsatz aus zweihundert von Hand einsortierten Nachrichten. Damit wird zuerst gemessen, wie weit ein sorgfältig geschriebener Prompt mit einigen Beispielen kommt. Erst wenn dieser Wert nicht reicht und die Fehler ein Muster zeigen, lohnt sich Fine-Tuning — und dann lässt sich am selben Testsatz belegen, ob es wirklich besser geworden ist.