Qué es
El trabajo con modelos es experimental. Un ciclo típico prueba varias tasas de aprendizaje, un par de modelos base y algunas versiones del conjunto de datos, para luego evaluar cada resultado, a veces más de una vez. Después de unas semanas hay decenas de ejecuciones, y solo una o dos son relevantes en el día a día. El resto satura todas las listas y selectores, y facilita que se elija el modelo equivocado por accidente.
Eliminarlos resulta tentador, pero destruye la información más útil que produce un experimento: qué se intentó y por qué fracasó. Ese registro es lo que evita que un equipo vuelva a ejecutar la misma idea fallida tres meses después. Archivar es el punto intermedio: el elemento permanece intacto, pero desaparece de la vista diaria.
Archivar y Restaurar solo ocultan y muestran el elemento. El gasto aún incluye el elemento, y su linaje sigue apareciendo en los modelos construidos a partir de él.
No hay nada que restaurar ni nada de lo que aprender más adelante: el registro de lo que se intentó desaparece con él.
Cómo funciona
- Oculto, no modificado. El archivado oculta el elemento y registra cuándo y quién lo hizo. No se elimina ni se reescribe nada: los archivos de datos, los trabajos del proveedor, los pesos entrenados y las respuestas de evaluación se mantienen como estaban.
- Fuera de listas y selectores. Un conjunto de datos archivado no se ofrece para una nueva preparación de datos; una preparación archivada no se ofrece para el entrenamiento; un modelo archivado no aparece en el chat de Entrenar, Evaluar o Probar y no puede ser el punto de partida para un entrenamiento continuo. Un enlace antiguo tampoco puede iniciar un trabajo desde un elemento archivado.
- Fuera de los gráficos, no de la factura. El panel de control excluye los modelos y evaluaciones archivados de la tabla de clasificación y los gráficos de calidad, y muestra cuántos elementos están archivados. El gasto los sigue contabilizando, porque el dinero se gastó de todos modos.
- Legible y restaurable. Desde la página de Archivo, un elemento archivado se abre tal como estaba, con un aviso y un botón de Restaurar. Una vez restaurado, el elemento vuelve a todas las listas sin cambios.
- No durante la ejecución. Un trabajo de entrenamiento, una preparación de datos en curso o una evaluación en proceso de calificación no se pueden archivar. Finalícelo o cancélelo primero.
| Archivar | Eliminar | |
|---|---|---|
| Registro conservado | Sí | No |
| Visible en cualquier lugar | En la página de Archivo | No |
| Reversible | Sí (Restaurar) | No |
| Contabiliza en el gasto | Sí | No |
El linaje se mantiene intacto
A menudo, los modelos se construyen unos sobre otros: una ejecución de preferencia continúa a partir de una ejecución supervisada, que a su vez continuó de una anterior. Archivar un elemento principal lo oculta de los selectores, no del historial. Un modelo que continúa a partir de un modelo archivado sigue mostrando su procedencia, y su evaluación se sigue comparando con ese elemento principal. Este es el mismo principio que utilizan los equipos de investigación para la reproducibilidad: conservar el rastro completo desde los datos hasta el resultado, incluso para los experimentos que no tuvieron éxito.
- Usted entrenó diez variantes de un modelo: tres tasas de aprendizaje, dos modelos base y dos versiones del conjunto de datos.
- Las evaluaciones muestran un ganador claro y un segundo lugar muy reñido. Mantenga ambos visibles.
- Archive los otros ocho modelos junto con sus evaluaciones, para que el gráfico del mejor modelo del panel solo compare a los candidatos activos.
- La versión anterior del conjunto de datos ha sido reemplazada por una mejor. Archívela junto con sus preparaciones, para que nadie entrene con ella por error.
- Tres meses después, alguien pregunta: «¿Probamos con una tasa de aprendizaje más alta?». El Archivo contiene la ejecución, su configuración y la evaluación que muestra por qué perdió.
Cuándo es mejor eliminar
Archive por defecto; elimine de forma deliberada. Eliminar tiene sentido cuando conservar el elemento es el problema en sí mismo — por ejemplo, un conjunto de datos que nunca debió contener ciertos datos personales. Tenga en cuenta que archivar no detiene los costes que continúan por sí solos, como una implementación dedicada: finalícelos por separado.
Errores comunes
- Eliminar las ejecuciones fallidas y repetir más tarde el mismo experimento porque nadie recuerda que fracasó.
- Archivar un modelo pero no sus evaluaciones, de modo que el panel de control lo sigue clasificando.
- Dejar visibles los conjuntos de datos reemplazados, lo que provoca que una nueva ejecución se entrene con la versión antigua por error.
- Esperar que los elementos archivados desaparezcan del gasto: el dinero se gastó de todos modos.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program)Pineau et al., 2020 · arXiv · arxiv.orgPor qué es importante conservar el registro completo de los experimentos, incluidos los fallidos.
- 02Hidden Technical Debt in Machine Learning SystemsSculley et al., 2015 · NeurIPS · papers.nips.ccEl artículo clásico sobre cómo los sistemas de ML acumulan complejidad oculta, incluidos los experimentos no rastreados y las dependencias de datos.
- 03MLflow TrackingMLflow docs · mlflow.orgUna herramienta de código abierto muy utilizada para registrar ejecuciones, parámetros y resultados.