Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Gesamtüberblick

Konzept

Die Trainings-Pipeline

Die Phasen, die ein Trainingsprojekt in Scalata durchläuft, was jede einzelne hervorbringt und warum jede Phase als eigene, überprüfbare Aufzeichnung aufbewahrt wird.

Kapitel 13 Min. Lesezeit4 Quellen

Was die Pipeline ist

Feinabstimmung ist selten ein einmaliger Vorgang. Ein brauchbares Ergebnis erfordert die richtigen Beispiele, aufbereitet im richtigen Format, trainiert mit sinnvollen Einstellungen und anschließend abgeglichen mit dem Ausgangsmodell. Scalata unterteilt dies in Phasen, von denen jede die Ausgabe der vorherigen übernimmt und etwas erzeugt, das Sie öffnen und überprüfen können.

  1. 01SitzungenChats auswählen
  2. 02DatensatzBeispiele sammeln
  3. 03Anbieterwo trainiert wird
  4. 04Datenaufbereitungbereinigen + konvertieren
  5. 05TrainierenJob ausführen
  6. 06EvaluierenVerbesserung nachweisen
  7. 07Test-Chatselbst ausprobieren
  8. 08Verwendenproduktiv einsetzen
Die Trainings-Pipeline. Jede Phase übergibt ein eingefrorenes, überprüfbares Artefakt an die nächste, sodass jeder Durchlauf bis zu den genauen Chats zurückverfolgt werden kann, aus denen gelernt wurde.

Die Phasen im Einzelnen

PhaseEingabeAusgabe
SitzungenIhre Chats in Scalata oder aus anderen Apps importierte ChatsDie Konversationen, aus denen gelernt werden soll
DatasetAusgewählte Chats, synthetische oder importierte Beispiele, optionale Dokumente und die als Ziele ausgewählten AntwortenEin eingefrorener Snapshot von Beispielen
AnbieterWo das Modell trainiert und bereitgestellt wirdEine Plattform und die von ihr angebotenen Modelle
DatenaufbereitungEin Dataset und BereinigungseinstellungenBereinigte, geschwärzte, aufgeteilte JSONL-Dateien im Format des Anbieters
TrainingAufbereitete Dateien, ein Basismodell, eine Methode und EinstellungenEin trainiertes Modell, seine Verlustkurven und seine Kosten
EvaluierungDas trainierte Modell, sein Ausgangsmodell und zurückgehaltene FragenAntworten im direkten Vergleich, Judge-Bewertungen und eine Gewinnquote
Test-ChatEin trainiertes ModellEin temporäres Deployment, mit dem Sie kommunizieren können
NutzungEin Modell, das die Evaluierung bestanden hatDas Modell im Einsatz in Scalata (demnächst verfügbar)

Warum jede Phase ein separater Datensatz ist

Jede Phase erstellt eine Aufzeichnung, die durch spätere Arbeiten nicht verändert wird. Ein Dataset ist eine Kopie der Chats, kein Link zu ihnen. Eine Datenaufbereitung behält genau die Dateien, die sie erzeugt hat. Ein Trainingsdurchlauf speichert die verwendete Aufbereitung, seine Einstellungen und den beim Start angegebenen Preis. Das macht Ergebnisse reproduzierbar — Monate später können Sie immer noch sagen, welche Chats, welche Bereinigungseinstellungen und welche Hyperparameter ein bestimmtes Modell hervorgebracht haben — und macht Vergleiche fair, da zwei Durchläufe, die mit derselben Aufbereitung trainiert wurden, tatsächlich dieselben Daten gesehen haben.

Es ermöglicht Ihnen auch Verzweigungen. Ein Dataset kann zweimal mit unterschiedlichen Einstellungen aufbereitet werden, eine Aufbereitung kann mehrere Modelle trainieren, und ein trainiertes Modell kann der Ausgangspunkt für einen weiteren Durchlauf sein.

Woher Probleme normalerweise stammen

Enttäuschende Ergebnisse lassen sich meist eher auf die frühen Phasen als auf die Trainingseinstellungen zurückführen:

  • Falsche oder inkonsistente Ziele im Datensatz — das Modell lernt sie originalgetreu.
  • Keine zurückgehaltenen Daten bei der Datenaufbereitung, sodass die Evaluierung das Gedächtnis anstelle der Fähigkeiten misst.
  • Eine Diskrepanz zwischen Training und Nutzung — ein anderer System-Prompt oder echte Fragen, die den Trainings-Chats in keiner Weise ähneln.
  • Mehrere Änderungen auf einmal zwischen den Durchläufen, sodass Sie nicht feststellen können, welche davon geholfen hat.
Ein typisches erstes Projekt
  1. Sitzungen → Datensatz: 400 Support-Chats werden überprüft; 320 enthalten Antworten, die gut genug sind, um als Ziele zu dienen.
  2. Anbieter → Datenaufbereitung: Die Bereinigung entfernt Fehlerantworten und Duplikate, personenbezogene Daten werden geschwärzt, 10 % der Konversationen werden als Testdatensatz für die Evaluierung zurückbehalten und 10 % des Rests werden für die Validierung zurückgehalten.
  3. Training: Überwachtes Fine-Tuning mit Auto-Einstellungen als Basislinie.
  4. Evaluierung: Das trainierte Modell und das Basismodell beantworten die zurückgehaltenen Testfragen. Ein Bewerter bevorzugt bei den meisten das trainierte Modell, und seine Begründungen weisen auf eine Schwäche bei Abrechnungsfragen hin.
  5. Nächste Runde: Weitere Abrechnungs-Chats fließen in einen neuen Datensatz ein, und der Zyklus wiederholt sich. Da nur eine Sache geändert wurde, zeigt die nächste Evaluierung, ob es geholfen hat.

Häufige Fehler

  • Anpassung der Trainingseinstellungen vor der Überprüfung des Datensatzes.
  • Änderung des Datensatzes, der Aufbereitungseinstellungen und der Hyperparameter im selben Durchlauf.
  • Überspringen der Evaluierung, weil der Trainingsverlust gesunken ist.
  • Das Löschen alter Durchläufe anstelle ihrer Archivierung, wodurch die Aufzeichnung darüber verloren geht, was versucht wurde und warum es gescheitert ist.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01Datasheets for DatasetsGebru et al., 2018 · arXiv · arxiv.orgWarum jedes Dataset mit einer Aufzeichnung darüber versehen sein sollte, woher es stammt und wie es erstellt wurde.
  2. 02Model Cards for Model ReportingMitchell et al., 2018 · arXiv · arxiv.orgDie gleiche Idee für trainierte Modelle: Dokumentieren Sie, womit sie trainiert und evaluiert wurden.
  3. 03Supervised fine-tuningOpenAI API docs · developers.openai.comDie Version derselben Pipeline eines gehosteten Anbieters: Daten aufbereiten, trainieren, evaluieren.
  4. 04Customize your model to improve its performance for your use caseAmazon Bedrock User Guide · docs.aws.amazon.comWie ein anderer Anbieter Anpassungsaufträge strukturiert.
KonzeptWas ein Datensatz istEine benannte, eingefrorene Sammlung von Trainingsbeispielen — aus Chats kopiert, von einem Modell geschrieben oder importiert — plus jegliche Dokumente, aus denen gelernt werden soll: warum es sich um eine Momentaufnahme und nicht um einen Link handelt, und was das für Korrekturen, Importe und Reproduzierbarkeit bedeutet.Pipeline-SchrittBereinigungCleaning entfernt die Antworten, von denen ein Modell niemals lernen sollte — Fehler, Ablehnungen, Interface-Markup, Duplikate und vorgefertigte Antworten — und korrigiert die Struktur, sodass jeder Datensatz für das Training gültig ist.Pipeline-SchrittValidierungs-SplitEin Teil der Konversationen wird vom Training ausgenommen und verwendet, um den Verlust bei Daten zu beobachten, aus denen das Modell nicht lernt. Die Aufteilung erfolgt nach vollständigen Konversationen, sodass kein Teil eines zurückbehaltenen Chats in das Training einfließt — und dies ist nicht dasselbe wie der Testdatensatz, der für die Evaluierung zurückbehalten wird.KonzeptTestfragen: Warum „zurückbehalten“ wichtig istEin Teil Ihrer Konversationen, den die Datenaufbereitung vor allem anderen zurückbehält, damit eine Evaluierung dem trainierten Modell Fragen stellen kann, die es noch nie gesehen hat. Dies ist der einzige saubere Weg, um echte Verbesserungen von bloßem Auswendiglernen zu unterscheiden.KonzeptBasis- und Fine-Tuning-Modell im direkten VergleichEine Evaluierung stellt dem Ausgangsmodell und dem trainierten Modell dieselben zurückgehaltenen Fragen und vergleicht deren Antworten, sodass Sie sehen können, ob das Training die Antworten tatsächlich verbessert hat.Best PracticeDurchläufe archivierenDas Archivieren verbirgt einen Datensatz, eine Aufbereitung, ein Modell oder eine Evaluierung aus alltäglichen Listen und Auswahlmenüs, ohne etwas zu löschen, sodass die Aufzeichnung darüber, was versucht wurde — und warum es erfolglos war — verfügbar bleibt und wiederhergestellt werden kann.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren