Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen / Leitfaden

Modelltraining, erklärt

Alles über das Fine-Tuning eines Sprachmodells mit Ihren eigenen Daten, Konzept für Konzept. Beginnen Sie an einer beliebigen Stelle: Jede Karte öffnet eine vollständige Seite mit dem Mechanismus, einem Praxisbeispiel, den Einstellungen, häufigen Fehlern und den Primärquellen.

9 Kapitel68 Konzepte
BeliebtLoRA und Adapter (PEFT)LernrateEpoche, Batch und StepOverfitting und UnderfittingPreference Tuning (DPO)GRPO, Schritt für SchrittDestillationLLM-as-a-judge
01

Das Gesamtbild

Fine-Tuning baut ein Modell nicht von Grund auf neu. Es lenkt ein bestehendes Modell mit vielen Beispielen in Richtung des gewünschten Verhaltens.

  1. 01SitzungenChats auswählen
  2. 02DatensatzBeispiele sammeln
  3. 03Anbieterwo trainiert wird
  4. 04Datenaufbereitungbereinigen + konvertieren
  5. 05TrainierenJob ausführen
  6. 06EvaluierenVerbesserung nachweisen
  7. 07Test-Chatselbst ausprobieren
  8. 08Verwendenproduktiv einsetzen
Die Trainings-Pipeline. Jede Phase übergibt ein eingefrorenes, überprüfbares Artefakt an die nächste, sodass jeder Durchlauf bis zu den genauen Chats zurückverfolgt werden kann, aus denen gelernt wurde.
KonzeptPre-Training und das BasismodellWie ein Sprachmodell überhaupt Sprache erlernt, was das Basismodell, mit dem Sie beginnen, bereits weiß, und warum Fine-Tuning es anpasst, anstatt es neu zu erstellen.Vertiefend lesen →KonzeptPrompting, Retrieval oder Fine-TuningDrei Wege, um ein Modell an Ihren Anwendungsfall anzupassen: was jeder einzelne ändert, was er kostet und wie Sie zwischen ihnen wählen oder sie kombinieren können.Vertiefend lesen →KonzeptDie Trainings-PipelineDie Phasen, die ein Trainingsprojekt in Scalata durchläuft, was jede einzelne hervorbringt und warum jede Phase als eigene, überprüfbare Aufzeichnung aufbewahrt wird.Vertiefend lesen →
02

Token und Kontext

Modelle lesen und schreiben Tokens, keine Zeichen oder Wörter. Fast jedes Limit und jeder Preis beim Training wird in ihnen berechnet.

KonzeptTokenDie Textabschnitte, die ein Modell tatsächlich liest und schreibt — wie sie entstehen, warum die Zählungen zwischen Modellen variieren und warum jedes Limit und jeder Preis beim Training in ihnen gemessen wird.Vertiefend lesen →KonzeptKontextfensterDie maximale Anzahl an Token, die ein Modell auf einmal berücksichtigen kann, wie dieser Platz aufgeteilt wird und wie er sich von dem Limit pro Beispiel unterscheidet, das während des Trainings gilt.Vertiefend lesen →KonzeptWarum Token die Kosten treibenWie Token-Zahlen zu den Kosten für das Training und die Nutzung eines Modells werden, mit konkreten Zahlenbeispielen, und welche Hebel die Rechnung tatsächlich senken.Vertiefend lesen →
03

Von Chats zu Trainingsbeispielen

Ein Chat wird zu Trainingsdaten, indem entschieden wird, welche seiner Antworten das Modell zu schreiben lernen soll.

KonzeptNachrichtenrollenWie eine Unterhaltung als System-, User- und Assistant-Nachrichten gespeichert wird und wie diese Rollen zu dem einzigen Token-Strom werden, den ein Modell tatsächlich liest.Vertiefend lesen →KonzeptZiele (trainierbare Antworten)Die Antworten des Assistenten, die Sie für das Modell zum Erlernen auswählen: wie ein Ziel erlernt wird, was ein gutes Ziel ausmacht und warum alles davor Kontext ist.Vertiefend lesen →KonzeptMulti-Turn-Unterhaltungen und GewichtungenWie eine Unterhaltung mit mehreren Antworten des Assistenten zu Trainingsdaten wird, welche zwei Formate Anbieter dafür nutzen und auf welchen Nebeneffekt Sie achten sollten.Vertiefend lesen →KonzeptLoss MaskingWarum ein Modell nur anhand der Ziel-Token jedes Datensatzes bewertet wird, wie dies in der Praxis umgesetzt wird und was sich dadurch ändert — und was nicht.Vertiefend lesen →
04

Datensätze

Eine eingefrorene, benannte Sammlung von Beispielen — aus echten Chats, generierten Chats, öffentlichen Datensätzen oder Chat-Feedback — und der mit Abstand größte Faktor dafür, wie gut das trainierte Modell letztendlich wird.

KonzeptWas ein Datensatz istEine benannte, eingefrorene Sammlung von Trainingsbeispielen — aus Chats kopiert, von einem Modell geschrieben oder importiert — plus jegliche Dokumente, aus denen gelernt werden soll: warum es sich um eine Momentaufnahme und nicht um einen Link handelt, und was das für Korrekturen, Importe und Reproduzierbarkeit bedeutet.Vertiefend lesen →Best PracticeWas einen guten Datensatz ausmachtDie Eigenschaften, die darüber entscheiden, ob Fine-Tuning ein Modell verbessert — korrekt, konsistent, vielfältig, fokussiert und repräsentativ — und wie Sie jede einzelne vor dem Training überprüfen können.Vertiefend lesen →MethodeSynthetische Daten und der Dataset BuilderWie ein leistungsfähiges Modell die Beispielkonversationen verfassen kann, die Ihnen noch fehlen, und wie Briefing, Plan, Prüfungen und Reviews des Dataset Builders diese Chats abwechslungsreich, fundiert und unter Ihrer Kontrolle halten.Vertiefend lesen →KonzeptÖffentliche Datensätze von Hugging FaceWas ein öffentlicher Hugging Face-Datensatz enthält, in welchen gängigen Formaten solche Datensätze vorliegen und warum einige Datensätze zu Chats werden, andere zu Dokumenten und wieder andere überhaupt nicht für das Training verwendet werden können.Vertiefend lesen →MethodeLernen aus Chat-FeedbackWie Daumen hoch, Daumen runter und Aktualisieren im Chat zu Trainingsdaten werden: positiv bewertete Antworten für überwachtes Training, Paare für Preference Tuning und negativ bewertete Antworten, die an einen Prüfer weitergeleitet werden.Vertiefend lesen →
05

Datenvorbereitung

Die Datenaufbereitung verwandelt Datensatz-Beispiele in genau die Trainingsdateien, die ein Anbieter erwartet: bereinigt, geschwärzt, gekürzt und in Trainings-, Validierungs- und Testsets aufgeteilt.

Pipeline-SchrittBereinigungCleaning entfernt die Antworten, von denen ein Modell niemals lernen sollte — Fehler, Ablehnungen, Interface-Markup, Duplikate und vorgefertigte Antworten — und korrigiert die Struktur, sodass jeder Datensatz für das Training gültig ist.Vertiefend lesen →Pipeline-SchrittPersonenbezogene Daten und Geheimnisse (PII)Vor dem Training werden E-Mails, Telefonnummern, Kartennummern, IBANs, nationale IDs und API-Schlüssel erkannt und standardmäßig durch Platzhalter ersetzt, da ein feinabgestimmtes Modell seinen Trainingstext Wort für Wort wiederholen kann.Vertiefend lesen →EinstellungToken-Limits und KürzenJeder Anbieter begrenzt, wie viele Token ein Trainingsbeispiel enthalten darf. Lange Konversationen, die diese Obergrenze überschreiten, werden entweder gekürzt — wobei die ältesten Interaktionen zuerst entfernt werden — oder verworfen.Vertiefend lesen →Pipeline-SchrittValidierungs-SplitEin Teil der Konversationen wird vom Training ausgenommen und verwendet, um den Verlust bei Daten zu beobachten, aus denen das Modell nicht lernt. Die Aufteilung erfolgt nach vollständigen Konversationen, sodass kein Teil eines zurückbehaltenen Chats in das Training einfließt — und dies ist nicht dasselbe wie der Testdatensatz, der für die Evaluierung zurückbehalten wird.Vertiefend lesen →EinstellungSystem-PromptDer System-Prompt ist eine dauerhafte Anweisung, die vor jeder Unterhaltung platziert wird. Da er beim Training hinzugefügt wird, erlernt das Modell sein Verhalten in Anwesenheit genau dieses Prompts, weshalb er bei der Nutzung des Modells unverändert bleiben sollte.Vertiefend lesen →KonzeptJSONL-TrainingsdateienJSONL (JSON Lines) ist eine Textdatei mit einem vollständigen JSON-Objekt pro Zeile. Es ist das Standardformat für Fine-Tuning-Daten: Eine Zeile entspricht einem Trainingsdatensatz.Vertiefend lesen →
06

Was während des Trainings passiert

Training ist eine Schleife: Vorhersagen treffen, den Fehler messen, berechnen, wie sich jedes Gewicht ändern sollte, es ein wenig anpassen — und das Tausende Male wiederholen.

KonzeptDie TrainingsschleifeFine-Tuning ist ein kurzer Vorgang, der tausendfach wiederholt wird: die Zielantwort vorhersagen, messen, wie falsch die Vorhersage war, berechnen, in welche Richtung sich jedes Gewicht bewegen sollte, und es ein wenig verschieben.Vertiefend lesen →KonzeptEpoche, Batch und StepEin Batch ist die Gruppe von Beispielen, die einem Gewichtsupdate zugrunde liegt, ein Step ist ein Update und eine Epoche ist ein vollständiger Durchlauf durch die Trainingsdaten. Zusammen bestimmen sie, wie oft sich das Modell ändert und wie oft es jedes Beispiel sieht.Vertiefend lesen →MethodeVollständiges Fine-TuningVollständiges Fine-Tuning aktualisiert jedes Gewicht im Modell. Es bietet den größten Spielraum zur Verhaltensänderung, benötigt jedoch ein Vielfaches der eigenen Größe des Modells an GPU-Speicher und führt am ehesten dazu, dass Fähigkeiten des Basismodells verloren gehen.Vertiefend lesen →MethodeLoRA und Adapter (PEFT)LoRA friert das Basismodell ein und trainiert zwei kleine Matrizen neben ausgewählten Schichten, deren Produkt zu den eingefrorenen Gewichten addiert wird. Es reduziert die trainierbaren Gewichte und den Speicherbedarf drastisch und erreicht bei guter Konfiguration die Leistung eines vollständigen Fine-Tunings auf typischen Fine-Tuning-Datensätzen.Vertiefend lesen →MethodeQLoRA (4-Bit-LoRA)QLoRA trainiert einen gewöhnlichen LoRA-Adapter auf einem Basismodell, das in 4 Bit statt in 16 Bit gespeichert ist. Der Speicherbedarf für das Training sinkt auf etwa ein Drittel, sodass dieselbe Maschine ein etwa dreimal größeres Modell feinabstimmen kann, was jedoch etwas Geschwindigkeit kostet.Vertiefend lesen →KonzeptGradient CheckpointingGradient Checkpointing spart Speicherplatz, indem nur einige der Zwischenergebnisse aus dem Forward Pass beibehalten und der Rest neu berechnet wird, wenn der Backward Pass sie benötigt. Es verbraucht deutlich weniger Speicher und macht das Training etwa 20–30 % langsamer.Vertiefend lesen →Best PracticePasst das Modell? Speicherbedarf für das TrainingDas Training benötigt Platz für die Gewichte des Modells, seine Gradienten und den Zustand des Optimizers sowie für den Arbeitsspeicher. Eine einfache Faustregel – etwa 2 GB pro Milliarde Parameter für LoRA und 12 GB für vollständiges Fine-Tuning – sagt Ihnen vor dem Start, ob ein Modell auf Ihre Maschine passt.Vertiefend lesen →KonzeptOpen-Weight-ModelleEin Open-Weight-Modell ist ein Modell, dessen trainierte Gewichte für jeden zum Download veröffentlicht werden, sodass es feingetunt und auf der von Ihnen gewählten Hardware ausgeführt werden kann. Seine Lizenz legt fest, was Sie damit tun dürfen, und von welchem Release Sie ausgehen, ist genauso wichtig wie die Wahl der Modellfamilie.Vertiefend lesen →EinstellungHyperparameterHyperparameter sind die von Ihnen gewählten Trainingseinstellungen, wie Epochen, Lernrate, Batch-Größe und Adapter-Rang, im Gegensatz zu den Gewichten, die das Modell lernt. Die Auto-Funktion wählt diese anhand Ihrer Daten aus und sorgt für einen guten ersten Durchlauf; diese Seite erklärt jede einzelne Einstellung, damit Sie von dort aus weitere Anpassungen vornehmen können.Vertiefend lesen →EinstellungLernrateDie Lernrate legt fest, wie weit sich die Gewichte bei jeder Aktualisierung bewegen. Sie ist die empfindlichste Trainingseinstellung: Ist sie zu hoch, schießt sie über das Ziel hinaus und kann Fähigkeiten löschen; ist sie zu niedrig, verändert sie das Modell kaum. Ein Lernratenplan wärmt sie normalerweise auf und lässt sie dann im Laufe des Durchlaufs abfallen.Vertiefend lesen →MetrikVerlustkurven interpretierenDer Trainingsverlust zeigt, wie gut das Modell zu den Beispielen passt, aus denen es lernt; der Validierungsverlust zeigt, wie gut es zurückgehaltene Beispiele vorhersagt, mit denen es nie trainiert wurde. Die Lücke zwischen den beiden Kurven ist das nützlichste Signal, das Ihnen ein Trainingsdurchlauf liefert.Vertiefend lesen →MetrikOverfitting und UnderfittingOverfitting tritt auf, wenn ein Modell seine Trainingsbeispiele auswendig lernt, anstatt das dahinterliegende Muster zu verstehen. Dadurch schneidet es bei diesen Beispielen gut, bei neuen jedoch schlechter ab. Underfitting ist das Gegenteil: Das Modell hat das Muster überhaupt nicht gelernt.Vertiefend lesen →KonzeptWie das Training abgerechnet wirdDas meiste verwaltete Fine-Tuning wird pro verarbeitetem Token abgerechnet: Token in der Trainingsdatei mal Epochen mal Preis. Aufträge auf gemieteten GPUs werden stattdessen nach Zeit abgerechnet. Die anschließende Nutzung des Modells ist ein separater Kostenfaktor.Vertiefend lesen →
07

Trainingsmethoden

Die Methoden unterscheiden sich darin, aus welchem Signal das Modell lernt — und folglich darin, welche Daten Sie benötigen und was jede Methode vermitteln kann und was nicht.

SFTQ→A ✓„Hier ist die richtige Antwort.“DPOA>B„Diese Antwort ist besser als jene.“RFTA→0.8„Ihre Antwort hat 0,8 Punkte erzielt.“DestillationLehrer→Student„Antworte wie das größere Modell.“
Die vier Methoden unterscheiden sich in einem Punkt: dem Signal, aus dem das Modell lernt.

Auswahl einer Methode

Best PracticeAuswahl einer TrainingsmethodeDie richtige Trainingsmethode hängt hauptsächlich von den Daten ab, die Sie bereits haben, und von der Veränderung, die Sie anstreben. Chats lehren Antworten, Paare lehren Präferenzen, Bewertungen lehren überprüfbare Fähigkeiten, Dokumente lehren Wissen, und ein großes Modell kann ein kleineres anlernen.Vertiefend lesen →

Überwacht

MethodeSupervised Fine-Tuning (SFT)Supervised Fine-Tuning trainiert ein Modell anhand von Beispielen: Es erhält eine Konversation sowie die gewünschte Antwort, und seine Gewichtungen werden so angepasst, dass diese Antwort Token für Token wahrscheinlicher wird.Vertiefend lesen →

Präferenz-Tuning

MethodePreference Tuning (DPO)Direct Preference Optimization trainiert ein Modell mit Antwortpaaren, von denen eine besser und eine schlechter ist, sodass es lernt, die bessere Variante zu bevorzugen – ohne das Reward-Modell und die Reinforcement-Learning-Schleife, die klassisches RLHF benötigt.Vertiefend lesen →EinstellungBeta (β) in DPOBeta legt fest, wie stark das Preference Tuning das Modell an seinem Ausgangspunkt festhält: Niedrigere Werte erlauben es den Paaren, es stärker zu verändern, höhere Werte halten es näher am Original.Vertiefend lesen →MetrikDen DPO-Loss interpretierenDer DPO-Loss misst, wie deutlich das Modell nun die bessere Antwort in jedem Paar bevorzugt, relativ zum Ausgangszustand. Er beginnt bei ln 2 ≈ 0,693 und fällt in Richtung 0, während die Präferenz erlernt wird.Vertiefend lesen →Best PracticeWoher gute Präferenzpaare kommenEin Präferenzpaar ist ein Prompt mit einer besseren und einer schlechteren Antwort. Wie gut DPO funktioniert, hängt hauptsächlich davon ab, ob der Unterschied zwischen den beiden Antworten genau das ist, was Sie tatsächlich ändern möchten.Vertiefend lesen →MetrikPräferenzgenauigkeitDie Präferenzgenauigkeit ist der Anteil der Paare, bei denen das Modell der bevorzugten Antwort nun eine höhere implizite Belohnung zuweist als der nicht bevorzugten, gemessen am Ausgangswert. Sie beginnt bei etwa 50 % und steigt, während die Präferenz erlernt wird.Vertiefend lesen →Best PracticeDas Standardrezept: SFT, dann DPOPreference Tuning schärft Antworten, die ein Modell bereits geben kann. Daher besteht das übliche Rezept aus zwei Schritten: Supervised Fine-Tuning, um die Aufgabe zu lehren, gefolgt von DPO, das auf diesem Modell aufbaut und dagegen evaluiert wird.Vertiefend lesen →

Reinforcement Fine-Tuning

MethodeReinforcement Fine-Tuning (RFT)Reinforcement Fine-Tuning trainiert ein Modell anhand von Bewertungen anstelle von Beispielantworten: Es beantwortet jeden Prompt mehrmals, ein Grader bewertet jeden Versuch, und das Modell orientiert sich an dem, was besser bewertet wurde.Vertiefend lesen →MethodeGRPO, Schritt für SchrittGroup Relative Policy Optimization bewertet mehrere Antworten auf denselben Prompt und verstärkt diejenigen, die über dem Durchschnitt der Gruppe liegen. Es ersetzt das separate Value-Modell von PPO durch diesen einfachen Vergleich.Vertiefend lesen →EinstellungGrader: Wie Antworten bewertet werdenEin Grader wandelt eine Antwort in eine Zahl zwischen 0 und 1 um. Beim Reinforcement Fine-Tuning ist dies die einzige Definition von „gut“, die das Modell jemals sieht, sodass die Wahl des Graders entscheidet, was das Modell lernt.Vertiefend lesen →EinstellungRFT-EinstellungenDie sechs Einstellungen eines Reinforcement-Fine-Tuning-Durchlaufs: was die Antworten bewertet, wie viele Antworten das Modell schreibt und wie lang diese sein dürfen, sowie wie groß und wie stark verankert jedes Update ist.Vertiefend lesen →MetrikWichtige RFT-MetrikenReward, Clipped Ratio, Reward-Streuung und Completion-Länge: die vier Diagramme, die Ihnen zeigen, ob ein Reinforcement-Durchlauf lernt, kein Signal erhält oder seinen Bewerter austrickst.Vertiefend lesen →MetrikHoldout-Prüfungen beim Reinforcement Fine-TuningWenn ein Anbieter ein Reinforcement Fine-Tuning an einem gehosteten Reasoning-Modell durchführt, stellt er alle paar Schritte einige zurückgehaltene Validierungsfragen erneut und bewertet die Antworten mit demselben Grader. Jede Frage wird zu einer Zeitachse, die zeigt, ob sich das Training auf Fragen überträgt, an denen das Modell nie trainiert wurde.Vertiefend lesen →Best PracticeReward HackingReward Hacking liegt vor, wenn ein Modell seine Punktzahl erhöht, ohne bei der Aufgabe besser zu werden, indem es ausnutzt, was der Grader nicht überprüft. Es ist der Hauptgrund, warum Reinforcement Fine-Tuning fehlschlägt.Vertiefend lesen →

Destillation

MethodeDestillationDie Destillation trainiert ein kleines, kostengünstiges Student-Modell darauf, sich bei Ihren Aufgaben wie ein großes Teacher-Modell zu verhalten – entweder, indem es aus den Antworten des Teachers lernt, oder aus der Bewertung seiner eigenen Antworten durch den Teacher.Vertiefend lesen →MethodeOff-Policy-Distillation: Der Teacher schreibt die AntwortenBei der Off-Policy-Destillation beantwortet der Teacher Ihre Prompts und der Student wird auf diese Antworten feingetunt, wie bei einem gewöhnlichen überwachten Training. Teacher und Student können aus beliebigen Modellfamilien stammen.Vertiefend lesen →MethodeOn-Policy-Distillation: Der Lehrer benotet den StudentenBei der On-Policy-Distillation schreibt der Student seine eigenen Antworten und der Lehrer bewertet jedes Token davon, sodass der Student genau lernt, wo er Fehler macht. Lehrer und Student müssen über ein gemeinsames Vokabular verfügen.Vertiefend lesen →EinstellungDestillationseinstellungenTeacher, Student, die beiden Limits für die Antwortlänge und die Divergenz β: Was die einzelnen Destillationseinstellungen bewirken, für welche Methode sie gelten und wie Sie diese auswählen.Vertiefend lesen →

Auf früheren Durchläufen aufbauen

MethodeFortsetzen eines trainierten ModellsEin Trainingsdurchlauf kann mit den Gewichtungen eines Ihrer früheren Durchläufe anstelle des Basismodells beginnen. So behält das Modell das bereits Gelernte bei und ergänzt es um das Wissen aus den neuen Daten. Auf diese Weise werden mehrstufige Rezepte aufgebaut, wie beispielsweise Supervised- gefolgt von Preference-Tuning.Vertiefend lesen →

Lernen aus Dokumenten

MethodeAus Dokumenten lernen: Q&A-GenerierungDie Q&A-Generierung verwandelt Dokumente in Trainingsbeispiele: Ein Modell liest jeden Abschnitt Ihres Textes und verfasst realistische Fragen, deren Antworten ausschließlich aus diesem Abschnitt stammen. Diese Paare trainieren dann wie jeder andere Chat, bei jedem Anbieter.Vertiefend lesen →MethodeFortgesetztes Pre-TrainingFortgesetztes Pre-Training trainiert ein Modell mit Ihren Rohtexten auf dieselbe Weise, wie es ursprünglich trainiert wurde: durch die Vorhersage des nächsten Wortes. Es fügt Wissen über Ihre Fachdomäne hinzu, jedoch kein neues Verhalten. Daher folgt in der Regel ein überwachtes Training (Supervised).Vertiefend lesen →
08

Evaluierung

Verlustkurven zeigen, wie gut das Modell passt. Die Evaluierung zeigt, ob seine Antworten tatsächlich besser sind.

KonzeptBasis- und Fine-Tuning-Modell im direkten VergleichEine Evaluierung stellt dem Ausgangsmodell und dem trainierten Modell dieselben zurückgehaltenen Fragen und vergleicht deren Antworten, sodass Sie sehen können, ob das Training die Antworten tatsächlich verbessert hat.Vertiefend lesen →KonzeptTestfragen: Warum „zurückbehalten“ wichtig istEin Teil Ihrer Konversationen, den die Datenaufbereitung vor allem anderen zurückbehält, damit eine Evaluierung dem trainierten Modell Fragen stellen kann, die es noch nie gesehen hat. Dies ist der einzige saubere Weg, um echte Verbesserungen von bloßem Auswendiglernen zu unterscheiden.Vertiefend lesen →MethodeLLM-as-a-judgeEin separates Sprachmodell liest die Frage, die Referenzantwort und zwei Antwortkandidaten, bewertet beide und wählt einen Gewinner. Blind eingerichtet, mit gemischter Reihenfolge und einer anderen Modellfamilie, stimmt es mit menschlichen Bewertern etwa so oft überein, wie Menschen untereinander übereinstimmen.Vertiefend lesen →MetrikEvaluierungsergebnisse lesenWie man Gewinnrate, Punktedifferenz und die sekundären Signale einer Evaluierung liest — und wie man bei einer kleinen Anzahl von Fragen eine echte Verbesserung von Rauschen unterscheidet.Vertiefend lesen →KonzeptCheckpoints: Wenn das Basismodell nicht mehr verfügbar istCheckpoints sind Kopien des Modells, die der Anbieter während des Trainings speichert. Wenn das Basismodell nicht mehr bereitgestellt werden kann, zeigt der Vergleich des finalen Modells mit einem früheren Checkpoint, ob die späteren Trainingsschritte geholfen haben.Vertiefend lesen →MethodeEin Modell für sich allein bewertenAnstatt zwei Antworten zu vergleichen, liest der Bewerter eine Antwort neben der Konversation und Ihrer Referenzantwort und bewertet sie mit 1–5 pro Kriterium. Das Ergebnis ist eine absolute Qualitätsbewertung: keine Gewinner und kein Maß für Verbesserungen.Vertiefend lesen →Best PracticeVergleich mehrerer ModelleUm sich zwischen Modellen zu entscheiden — unterschiedliche Anbieter, Methoden oder Basisgrößen —, müssen diese dieselben Fragen beantworten und von demselben Bewerter beurteilt werden. Ein Vergleich führt eine Evaluierung pro Modell auf Basis eines gemeinsamen Fragenkatalogs durch und ordnet sie nach der durchschnittlichen Bewertung.Vertiefend lesen →Best PracticeAnnotationswarteschlangen: manuelle Überprüfung des JudgesPersonen überprüfen Modellantworten einzeln — sie bewerten sie, wählen die bessere aus oder schreiben eine Korrektur —, um zu messen, wie viel Vertrauen man in den LLM-Judge setzen kann, und um ihre Korrekturen in Trainingsdaten umzuwandeln.Vertiefend lesen →
09

Ein Modell testen und bereitstellen

Ein trainiertes Modell muss bereitgestellt werden, bevor es antworten kann — und eine dedizierte Bereitstellung kostet für jede Stunde ihres Bestehens Geld.

KonzeptInferenz und DeploymentInferenz ist die Nutzung eines Modells zur Generierung von Antworten. Ein trainiertes Modell muss zunächst bereitgestellt werden — seine Gewichte werden auf Hardware hinter einem Endpunkt geladen —, was Minuten dauern kann und anschließend pro Token oder pro Stunde abgerechnet wird.Vertiefend lesen →KonzeptServerless vs. dediziertServerless Serving rechnet pro Token auf geteilter Kapazität ohne Leerlaufkosten ab; ein dediziertes Deployment reserviert GPUs für Ihr Modell und wird für jede Stunde abgerechnet, die es existiert. Was günstiger ist, hängt von Ihrer Nutzung ab.Vertiefend lesen →KonzeptWas es kostet: Die Zahlen richtig lesenDie Modellnutzung wird auf verschiedene Arten abgerechnet. Daher ist jeder von Scalata angezeigte Betrag mit einem Status versehen — Endgültig, Geschätzt, Ausstehend oder Nicht abgerechnet —, der angibt, worauf die Zahl basiert.Vertiefend lesen →Best PracticeDurchläufe archivierenDas Archivieren verbirgt einen Datensatz, eine Aufbereitung, ein Modell oder eine Evaluierung aus alltäglichen Listen und Auswahlmenüs, ohne etwas zu löschen, sodass die Aufzeichnung darüber, was versucht wurde — und warum es erfolglos war — verfügbar bleibt und wiederhergestellt werden kann.Vertiefend lesen →
10

Glossar

Jedes Konzept, von A bis Z. Jedes öffnet seine vollständige Seite.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren