Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Was während des Trainings passiert

Konzept

Open-Weight-Modelle

Ein Open-Weight-Modell ist ein Modell, dessen trainierte Gewichte für jeden zum Download veröffentlicht werden, sodass es feingetunt und auf der von Ihnen gewählten Hardware ausgeführt werden kann. Seine Lizenz legt fest, was Sie damit tun dürfen, und von welchem Release Sie ausgehen, ist genauso wichtig wie die Wahl der Modellfamilie.

Kapitel 64 Min. Lesezeit4 Quellen

Was es ist

Ein geschlossenes Modell, wie Gemini oder GPT, existiert nur auf den Servern seines Anbieters. Sie können es über den Anbieter feintunen, aber Sie können es niemals herunterladen, sodass es nicht auf Ihrer eigenen Maschine trainiert werden kann. Ein Open-Weight-Modell wird als Gewichtsdateien veröffentlicht, die jeder herunterladen kann: unter anderem Qwen, Llama, Mistral, Phi und Gemma, die offene Familie von Google. Open Weights sind nicht dasselbe wie Open Source: Die Trainingsdaten und der Code werden oft nicht veröffentlicht, und die Lizenz legt fest, was Sie mit dem Modell tun dürfen.

Der Kompromiss ist Kontrolle gegen Komfort. Bei Open Weights wählen Sie die Hardware, behalten das trainierte Modell und können es überall ausführen, auch vollständig offline. Bei einem geschlossenen Modell kümmert sich der Anbieter um die Hardware, aber das angepasste Modell bleibt auf seinen Servern und kann nur über seinen Dienst genutzt werden.

Was Sie vor der Auswahl prüfen sollten

Beispiel für ein 7B-Instruct-ModellOpen-Weight · Text-in, Text-out✓Offene GewichteGewichtsdateien können heruntergeladen werden✓Formatsafetensors✓PräzisionBF16, nicht FP8 oder MXFP4✓Größe7B · ca. 17 GB für das Training mit LoRA✓ReleaseInstruct, bereit für Chat-DateniLizenzlesen Sie sie; sie legt fest, was Sie tun dürfeniGatedeinmalig auf Hugging Face akzeptieren
Was Sie auf der Seite eines Modells prüfen sollten, bevor Sie es feinabstimmen, am Beispiel eines 7B-Modells. Die ersten fünf Punkte entscheiden, ob es überhaupt ein sinnvoller Ausgangspunkt ist; Lizenz und Gating sind Nutzungsbedingungen, die Sie selbst lesen und akzeptieren müssen.
  • Größe, die den Arbeitsspeicher bestimmt, den eine Maschine für das Training benötigt.
  • Lizenz. Viele Modelle nutzen freizügige Lizenzen wie Apache 2.0; andere haben ihre eigenen Bedingungen, wie die Community-Lizenz von Llama oder die Nutzungsbedingungen von Gemma. Lesen Sie diese, bevor Sie ein Modell kommerziell nutzen.
  • Gating, ob Hugging Face verlangt, dass Sie vor dem Herunterladen die Nutzungsbedingungen akzeptieren.
  • Format. Bevorzugen Sie Gewichte in safetensors, einem Dateiformat, das nur Zahlen enthält, sodass beim Laden kein versteckter Code ausgeführt werden kann. Ältere Pickle-basierte Checkpoints können beim Laden Code ausführen.
  • Architektur und Tooling. Es kann eine Weile dauern, bis eine brandneue Architektur von gängigen Trainingsbibliotheken unterstützt wird; eine etablierte Modellfamilie ist der sicherere Einstieg.

Einen Release lesen

Eine Modellfamilie veröffentlicht in der Regel mehrere Versionen jeder Größe. Ein Basis-Modell wird nur darauf trainiert, Text fortzusetzen; ein Instruct-Modell (Chat-Modell) wird weiter darauf abgestimmt, Anweisungen zu befolgen; und es gibt oft vorab quantisierte Kopien in Formaten wie FP8, MXFP4, GGUF oder AWQ, die für einen kostengünstigen Betrieb entwickelt wurden. Die Zahl im Namen, wie z. B. 7B, gibt die Parameter in Milliarden an und bestimmt, wie viel Arbeitsspeicher das Training erfordert.

Nur volle Präzision

Einige Modelle werden bereits komprimiert in 8-Bit- (FP8) oder 4-Bit-Formaten (MXFP4) veröffentlicht, um sie im Betrieb günstiger zu machen. Das Training erfordert die Version mit voller Präzision, da die kleinen Änderungen, die das Training an jedem Gewicht vornimmt, in solch groben Zahlen verloren gehen. Suchen Sie nach der Version in BF16, zum Beispiel die Versionen von Ministral 3, die auf -BF16 enden. QLoRA komprimiert ein Modell mit voller Präzision selbst, daher geht es ebenfalls von der BF16-Version aus.

Auswahl eines Releases für das Fine-Tuning (zur Veranschaulichung)
  1. Ein 7B-Instruct-Modell in BF16 Safetensors, Apache 2.0: ein guter Ausgangspunkt. LoRA benötigt etwa 2 × 7 + 3 ≈ 17 GB, um es zu trainieren.
  2. Der FP8-Release desselben Modells: günstiger im Betrieb, aber kein Ausgangspunkt für das Training. Verwenden Sie die BF16-Version oder lassen Sie sie von QLoRA auf 4 Bit quantisieren, was etwa 8 GB für das Training erfordert.
  3. Ein Gated-8B-Modell unter einer Community-Lizenz: nutzbar, sobald Sie die Nutzungsbedingungen auf Hugging Face akzeptieren, aber lesen Sie die Lizenz bezüglich Einschränkungen für die kommerzielle Nutzung, bevor Sie darauf aufbauen.

Gated-Modelle

Einige Herausgeber, darunter Meta für Llama und Google für Gemma 3, schützen ihre Modelle durch Gating: Sie akzeptieren die Lizenz einmalig auf der Hugging Face-Seite des Modells, bevor Sie es herunterladen können. Der Zugriff ist an Ihr Hugging Face-Konto gebunden, sodass jedes Tool, das das Modell für Sie herunterlädt, im Namen eines Kontos handeln muss, das die Nutzungsbedingungen akzeptiert hat.

Bildfähige Modelle

Einige Modelle, wie Gemma 3 und 4, Qwen3.5 und Ministral 3, können auch Bilder lesen. Wenn Sie diese mit reinen Textdaten feintunen, wird die sprachliche Seite trainiert; ihre Bildfähigkeiten bleiben in der Regel weitgehend erhalten, obwohl ein intensives Training ausschließlich mit Text sie leicht abschwächen kann. Wenn Bilder für Ihre Aufgabe wichtig sind, fügen Sie Bildbeispiele hinzu oder überprüfen Sie das Verhalten bei Bildern nach dem Training.

Auswahl eines Basismodells

  • Passform zuerst. Wählen Sie aus den Modellen, die Ihre Hardware trainieren kann: Die Faustregel auf der Seite zum Arbeitsspeicher liefert eine schnelle Antwort.
  • Instruct-Versionen für Chat. Die meisten Familien veröffentlichen eine rohe Basisversion und eine Instruct- (Chat-) Version. Für das Training mit Konversationen folgt die Instruct-Version bereits dem Chat-Format und benötigt weniger Beispiele, um gut zu funktionieren.
  • Kleiner ist oft ausreichend. Ein kleines Modell, das auf eine eng gefasste Aufgabe feingetunt ist, kann bei dieser Aufgabe mit einem viel größeren, allgemeinen Modell mithalten und trainiert und antwortet schneller. Probieren Sie zuerst ein kleines Modell aus und wechseln Sie nur dann zu einem größeren, wenn die Evaluierung zeigt, dass es nicht ausreicht.
  • Sprachen und Domäne. Familien unterscheiden sich darin, wie gut sie mit anderen Sprachen als Englisch, Code oder langen Dokumenten umgehen. Ein kurzer Test-Chat mit dem Basismodell zeigt, wo dessen Ausgangspunkt liegt.

Häufige Fehler

  • Die Suche nach Gewichten von Gemini oder GPT zum Herunterladen. Diese sind geschlossen; Gemma ist die Open-Weight-Familie von Google.
  • Mit dem FP8- oder MXFP4-Release eines Modells anstelle seiner BF16-Version beginnen.
  • Vergessen, die Lizenz eines Gated-Modells auf Hugging Face vor dem ersten Durchlauf zu akzeptieren.
  • Die Annahme, dass Open Weights bedeuten, dass jede Nutzung erlaubt ist. Die Lizenz entscheidet.
  • Die Auswahl eines großen Modells, bevor geprüft wurde, ob es für das Training in den Arbeitsspeicher passt.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01Gated modelsHugging Face Hub docs · huggingface.coWie Gating funktioniert und wie der Zugriff beantragt und gewährt wird.
  2. 02LicensesHugging Face Hub docs · huggingface.co
  3. 03SafetensorsHugging Face docs · huggingface.coDas Gewichtsformat, das Tensoren sicher und ohne ausführbaren Code speichert.
  4. 04Downloading modelsHugging Face Hub docs · huggingface.co
KonzeptPre-Training und das BasismodellWie ein Sprachmodell überhaupt Sprache erlernt, was das Basismodell, mit dem Sie beginnen, bereits weiß, und warum Fine-Tuning es anpasst, anstatt es neu zu erstellen.Best PracticeAuswahl einer TrainingsmethodeDie richtige Trainingsmethode hängt hauptsächlich von den Daten ab, die Sie bereits haben, und von der Veränderung, die Sie anstreben. Chats lehren Antworten, Paare lehren Präferenzen, Bewertungen lehren überprüfbare Fähigkeiten, Dokumente lehren Wissen, und ein großes Modell kann ein kleineres anlernen.Best PracticePasst das Modell? Speicherbedarf für das TrainingDas Training benötigt Platz für die Gewichte des Modells, seine Gradienten und den Zustand des Optimizers sowie für den Arbeitsspeicher. Eine einfache Faustregel – etwa 2 GB pro Milliarde Parameter für LoRA und 12 GB für vollständiges Fine-Tuning – sagt Ihnen vor dem Start, ob ein Modell auf Ihre Maschine passt.MethodeQLoRA (4-Bit-LoRA)QLoRA trainiert einen gewöhnlichen LoRA-Adapter auf einem Basismodell, das in 4 Bit statt in 16 Bit gespeichert ist. Der Speicherbedarf für das Training sinkt auf etwa ein Drittel, sodass dieselbe Maschine ein etwa dreimal größeres Modell feinabstimmen kann, was jedoch etwas Geschwindigkeit kostet.MethodeLoRA und Adapter (PEFT)LoRA friert das Basismodell ein und trainiert zwei kleine Matrizen neben ausgewählten Schichten, deren Produkt zu den eingefrorenen Gewichten addiert wird. Es reduziert die trainierbaren Gewichte und den Speicherbedarf drastisch und erreicht bei guter Konfiguration die Leistung eines vollständigen Fine-Tunings auf typischen Fine-Tuning-Datensätzen.KonzeptÖffentliche Datensätze von Hugging FaceWas ein öffentlicher Hugging Face-Datensatz enthält, in welchen gängigen Formaten solche Datensätze vorliegen und warum einige Datensätze zu Chats werden, andere zu Dokumenten und wieder andere überhaupt nicht für das Training verwendet werden können.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren