Bald verfügbarModelltraining ist bald in Scalata Enterprise verfügbar. Bringen Sie einem Modell bei, so zu antworten wie Ihr Team.Erfahren Sie, was kommt

Ressourcen/Modelltraining/Tokens und Kontext

Konzept

Token

Die Textabschnitte, die ein Modell tatsächlich liest und schreibt — wie sie entstehen, warum die Zählungen zwischen Modellen variieren und warum jedes Limit und jeder Preis beim Training in ihnen gemessen wird.

Kapitel 23 Min. Lesezeit5 Quellen

Was ein Token ist

Ein Sprachmodell sieht niemals Buchstaben oder Wörter. Bevor ein Text das Modell erreicht, zerlegt ein Tokenizer den Text in Bestandteile aus einem festen Vokabular und ersetzt jeden Bestandteil durch seine Nummer in diesem Vokabular. Das Modell liest eine Sequenz dieser Nummern und gibt auch seine Antwort in Form von Nummern aus, die der Tokenizer wieder in Text umwandelt.

“How do I reset my password?”
How2437␣do466␣I314␣reset13259␣my616␣password9206?30
27 Zeichen6 Wörter≈ 7 Token
Ein Satz, sieben Token. Ein Leerzeichen ist meist mit dem darauffolgenden Wort verbunden, weshalb „ do“ und „do“ unterschiedliche Token sind.

Heutige Vokabulare umfassen Zehntausende bis einige Hunderttausend Einträge. Häufige Wörter erhalten einen eigenen Eintrag, meist zusammen mit dem vorangehenden Leerzeichen. Weniger häufige Wörter werden aus kleineren Bestandteilen zusammengesetzt: Ein ungewöhnlicher Produktname kann aus vier oder fünf Token bestehen.

Wie Tokenizer aufgebaut sind: Byte-Pair Encoding

Die meisten aktuellen Tokenizer verwenden eine Form des Byte-Pair Encoding (BPE), das von Sennrich, Haddow und Birch für Sprachmodelle adaptiert wurde. Das Vokabular wird anhand einer großen Textstichprobe erlernt, bevor das eigentliche Modell trainiert wird:

  1. Mit den kleinsten Einheiten beginnen: einzelnen Zeichen oder den 256 möglichen Bytes.
  2. Jedes Paar benachbarter Einheiten in der Stichprobe zählen und das häufigste Paar finden.
  3. Dieses Paar zu einer neuen Einheit zusammenführen und dem Vokabular hinzufügen.
  4. Wiederholen, bis das Vokabular seine Zielgröße erreicht hat.

Das Vokabular verwendet seine Einträge letztlich für das, was in dieser Stichprobe häufig vorkam. Versionen auf Byte-Ebene gehen von Bytes statt von Zeichen aus, sodass jede Eingabe — jede Sprache, jedes Emoji oder jedes vereinzelte Symbol — weiterhin kodiert werden kann, nur eben weniger effizient, wenn sie ungewöhnlich ist.

Wie BPE „ing“ lernt
  1. Die Stichprobe enthält oft „walking“, „talking“ und „making“. Zunächst wird jedes Wort in Zeichen aufgeteilt: w a l k i n g.
  2. i gefolgt von n ist das häufigste Paar, daher wird es zu einer Einheit: w a l k in g.
  3. Nun ist in gefolgt von g das häufigste Paar: w a l k ing.
  4. Nach Zehntausenden von Zusammenführungen ist ein häufiges Wort wie „walking“ wahrscheinlich ein einzelnes Token, während ein seltenes Wort wie „unwalkable“ weiterhin aus mehreren Teilen besteht.

Warum derselbe Text unterschiedliche Zählungen ergibt

Art des TextesTypisches Verhalten
Alltägliches EnglischEtwa 4 Zeichen oder ¾ eines Wortes pro Token
Zahlen, IDs und DatenAufgeteilt in kurze Abschnitte: 2024-03-17 kann fünf oder mehr Token beanspruchen
Code und JSONKlammern, Anführungszeichen und Einrückungen kosten alle Token
Andere SprachenOft mehr Token für dieselbe Bedeutung; eine Studie aus dem Jahr 2023 maß Unterschiede von bis zum 15-Fachen für denselben übersetzten Text
Seltene Namen und FachjargonAufgeteilt in mehrere Teilwort-Bestandteile

Jede Modellfamilie trainiert ihren eigenen Tokenizer. Ein Dokument, das für ein Modell 1.000 Token umfasst, kann für ein anderes 1.150 Token lang sein. Jede Zählung, die mit einem anderen Tokenizer durchgeführt oder anhand der Zeichenanzahl geschätzt wird, ist ein Näherungswert.

Warum dies für das Training wichtig ist

  • Kosten. Das Training wird pro verarbeitetem Token abgerechnet, die Nutzung pro Eingabe- und Ausgabe-Token.
  • Limits. Das Kontextfenster und das Trainingslimit pro Beispiel werden in Token gezählt, nicht in Nachrichten oder Wörtern.
  • Eigentümliche Schwächen. Ein Modell sieht „strawberry“ als einige wenige Token, nicht als zehn Buchstaben. Deshalb ist das Zählen von Buchstaben oder das Umkehren eines Wortes für das Modell überraschend schwierig.

Häufige Fehler

  • Ein Token bei der Schätzung von Kosten oder Limits mit einem Wort gleichzusetzen.
  • Davon auszugehen, dass eine für ein Modell erstellte Zählung auch für ein anderes gilt.
  • Budgets für nicht-englische Daten auf Basis englischer Zeichen-pro-Token-Verhältnisse zu planen.
  • Zu vergessen, dass Formatierungen — JSON, Markup, lange IDs — ebenfalls Token verbrauchen.

Quellen und weiterführende Literatur

Externe Quellen werden in einem neuen Tab geöffnet.

  1. 01Neural Machine Translation of Rare Words with Subword UnitsSennrich, Haddow & Birch, 2016 · arXiv · arxiv.orgDas Paper, das die BPE-Tokenisierung im NLP einführte.
  2. 02Byte-Pair Encoding tokenizationHugging Face LLM Course · huggingface.coBPE-Training Schritt für Schritt durchgearbeitet, mit Code.
  3. 03Language Model Tokenizers Introduce Unfairness Between LanguagesPetrov et al., 2023 · arXiv · arxiv.orgWie viel mehr derselbe Inhalt in einigen Sprachen kostet.
  4. 04openai/tiktokenOpenAI · GitHub · github.comEin weit verbreiteter BPE-Tokenizer, den Sie ausführen können, um Token selbst zu zählen.
  5. 05Understand and count tokensGemini API docs · ai.google.devDie Erklärung eines anderen Anbieters zu Token und wie man sie zählt.
KonzeptKontextfensterDie maximale Anzahl an Token, die ein Modell auf einmal berücksichtigen kann, wie dieser Platz aufgeteilt wird und wie er sich von dem Limit pro Beispiel unterscheidet, das während des Trainings gilt.KonzeptWarum Token die Kosten treibenWie Token-Zahlen zu den Kosten für das Training und die Nutzung eines Modells werden, mit konkreten Zahlenbeispielen, und welche Hebel die Rechnung tatsächlich senken.EinstellungToken-Limits und KürzenJeder Anbieter begrenzt, wie viele Token ein Trainingsbeispiel enthalten darf. Lange Konversationen, die diese Obergrenze überschreiten, werden entweder gekürzt — wobei die ältesten Interaktionen zuerst entfernt werden — oder verworfen.KonzeptJSONL-TrainingsdateienJSONL (JSON Lines) ist eine Textdatei mit einem vollständigen JSON-Objekt pro Zeile. Es ist das Standardformat für Fine-Tuning-Daten: Eine Zeile entspricht einem Trainingsdatensatz.KonzeptWie das Training abgerechnet wirdDas meiste verwaltete Fine-Tuning wird pro verarbeitetem Token abgerechnet: Token in der Trainingsdatei mal Epochen mal Preis. Aufträge auf gemieteten GPUs werden stattdessen nach Zeit abgerechnet. Die anschließende Nutzung des Modells ist ein separater Kostenfaktor.

Verwandeln Sie wochenlange Expertenarbeit in Minuten

Erfahren Sie, wie Scalata zu Ihrem Team, Ihren Daten und Ihren Kontrollen passt.

Vertrieb kontaktieren