Was es ist
Die Arbeit an Modellen ist experimentell. Ein typischer Zyklus testet verschiedene Lernraten, einige Basismodelle und ein paar Versionen des Datensatzes und evaluiert dann jedes Ergebnis, manchmal mehrfach. Nach einigen Wochen gibt es Dutzende von Durchläufen, von denen im Arbeitsalltag nur ein oder zwei von Bedeutung sind. Der Rest überfrachtet jede Liste und jedes Auswahlmenü und führt leicht dazu, dass versehentlich das falsche Modell ausgewählt wird.
Sie zu löschen ist verlockend, zerstört aber die nützlichste Information, die ein Experiment liefert: was versucht wurde und warum es erfolglos war. Diese Aufzeichnung hält ein Team davon ab, dieselbe gescheiterte Idee drei Monate später erneut auszuführen. Archivieren ist der Mittelweg: Das Element bleibt intakt, verschwindet aber aus der alltäglichen Ansicht.
Archivieren und Wiederherstellen blenden das Element nur aus und ein. Die Ausgaben berücksichtigen das Element weiterhin, und seine Herkunft wird in den daraus erstellten Modellen weiterhin angezeigt.
Nichts zum Wiederherstellen und nichts, woraus man später lernen könnte: Die Aufzeichnung dessen, was versucht wurde, verschwindet damit.
Wie es funktioniert
- Verborgen, nicht verändert. Die Archivierung verbirgt das Element und vermerkt, wann und von wem es archiviert wurde. Nichts wird gelöscht oder überschrieben: Datendateien, Anbieteraufträge, trainierte Gewichte und Auswertungsantworten bleiben so, wie sie waren.
- Aus Listen und Auswahlelementen entfernt. Ein archivierter Datensatz wird nicht für eine neue Datenaufbereitung angeboten; eine archivierte Aufbereitung wird nicht für das Training angeboten; ein archiviertes Modell erscheint nicht im Trainieren-, Auswerten- oder Testen-Chat und kann nicht der Ausgangspunkt für ein fortgesetztes Training sein. Ein alter Link kann ebenfalls keinen Auftrag aus einem archivierten Element starten.
- Aus den Diagrammen entfernt, aber nicht aus der Rechnung. Das Dashboard schließt archivierte Modelle und Auswertungen aus der Bestenliste und den Qualitätsdiagrammen aus und zeigt an, wie viele Elemente archiviert sind. Bei den Ausgaben werden sie weiterhin berücksichtigt, da das Geld in jedem Fall ausgegeben wurde.
- Lesbar und wiederherstellbar. Auf der Archivseite lässt sich ein archiviertes Element genau wie zuvor öffnen, versehen mit einem Banner und einer Schaltfläche Wiederherstellen. Nach der Wiederherstellung erscheint das Element unverändert wieder in allen Listen.
- Nicht während der Ausführung. Ein Trainingsjob, eine laufende Datenaufbereitung oder eine in der Beurteilung befindliche Evaluierung können nicht archiviert werden. Schließen Sie diese zuerst ab oder brechen Sie sie ab.
| Archivieren | Löschen | |
|---|---|---|
| Aufzeichnung aufbewahrt | Ja | Nein |
| Überall sichtbar | Auf der Archivseite | Nein |
| Umkehrbar | Ja (Wiederherstellen) | Nein |
| Zählt zu den Ausgaben | Ja | Nein |
Herkunft bleibt intakt
Modelle bauen oft aufeinander auf: Ein Präferenz-Durchlauf setzt einen überwachten Durchlauf fort, der wiederum auf einem früheren basierte. Das Archivieren eines übergeordneten Elements verbirgt es aus Auswahlmenüs, nicht aus der Historie. Ein Modell, das aus einem archivierten Modell fortgeführt wurde, zeigt weiterhin, woher es stammt, und seine Evaluierung wird weiterhin mit diesem Ursprungsmodell verglichen. Dies ist dasselbe Prinzip, das Forschungsteams für die Reproduzierbarkeit anwenden: den vollständigen Pfad von den Daten bis zum Ergebnis aufbewahren, auch für die Experimente, die sich nicht durchgesetzt haben.
- Sie haben zehn Varianten eines Modells trainiert: drei Lernraten, zwei Basismodelle und zwei Datensatzversionen.
- Die Auswertungen zeigen einen klaren Gewinner und einen knappen Zweitplatzierten. Behalten Sie beide sichtbar.
- Archivieren Sie die anderen acht Modelle zusammen mit ihren Auswertungen, damit das Diagramm der besten Modelle im Dashboard nur aktive Kandidaten vergleicht.
- Die ältere Datensatzversion wurde durch eine bessere ersetzt. Archivieren Sie diese und ihre Aufbereitungen ebenfalls, damit niemand versehentlich damit trainiert.
- Drei Monate später fragt jemand: „Haben wir eine höhere Lernrate ausprobiert?“ Das Archiv enthält den Durchlauf, seine Einstellungen und die Auswertung, die zeigt, warum er verloren hat.
Wann stattdessen gelöscht werden sollte
Standardmäßig archivieren; bewusst löschen. Löschen ist sinnvoll, wenn das Aufbewahren des Elements selbst das Problem darstellt — zum Beispiel bei einem Datensatz, der bestimmte personenbezogene Daten niemals hätte enthalten dürfen. Beachten Sie, dass das Archivieren keine fortlaufenden Kosten stoppt, wie etwa bei einem dedizierten Deployment: Beenden Sie diese separat.
Häufige Fehler
- Das Löschen erfolgloser Durchläufe und das spätere Wiederholen desselben Experiments, weil sich niemand daran erinnert, dass es gescheitert ist.
- Das Archivieren eines Modells, aber nicht seiner Evaluierungen, sodass das Dashboard es weiterhin im Ranking führt.
- Das Sichtbarlassen ersetzter Datensätze, sodass ein neuer Durchlauf versehentlich mit der alten Version trainiert wird.
- Die Erwartung, dass archivierte Elemente aus den Ausgaben verschwinden: Das Geld wurde so oder so ausgegeben.
Quellen und weiterführende Literatur
Externe Quellen werden in einem neuen Tab geöffnet.
- 01Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program)Pineau et al., 2020 · arXiv · arxiv.orgWarum es wichtig ist, die vollständige Aufzeichnung von Experimenten, einschließlich der fehlgeschlagenen, aufzubewahren.
- 02Hidden Technical Debt in Machine Learning SystemsSculley et al., 2015 · NeurIPS · papers.nips.ccDas klassische Paper darüber, wie ML-Systeme verborgene Komplexität ansammeln, einschließlich nicht nachverfolgter Experimente und Datenabhängigkeiten.
- 03MLflow TrackingMLflow docs · mlflow.orgEin weit verbreitetes Open-Source-Tool zur Aufzeichnung von Durchläufen, Parametern und Ergebnissen.