O que é
O trabalho com modelos é experimental. Um ciclo típico testa diversas taxas de aprendizado, alguns modelos base e algumas versões do conjunto de dados, e então avalia cada resultado, às vezes mais de uma vez. Após algumas semanas, há dezenas de execuções, e apenas uma ou duas importam no dia a dia. O restante sobrecarrega todas as listas e seletores, e facilita a escolha do modelo errado por acidente.
Excluí-los é tentador, mas destrói a informação mais útil que um experimento produz: o que foi testado e por que falhou. Esse registro é o que impede uma equipe de reexecutar a mesma ideia malsucedida três meses depois. Arquivar é o meio-termo: o item permanece intacto, mas sai da visualização diária.
Arquivar e Restaurar apenas ocultam e exibem o item. Os gastos ainda contabilizam o item, e sua linhagem ainda aparece nos modelos construídos a partir dele.
Nada para restaurar e nada para aprender depois: o registro do que foi testado desaparece com ele.
Como funciona
- Oculto, não alterado. O arquivamento oculta o item e registra quando e por quem foi feito. Nada é excluído ou reescrito: arquivos de dados, trabalhos do provedor, pesos treinados e respostas de avaliação permanecem como estavam.
- Fora de listas e seletores. Um conjunto de dados arquivado não é oferecido para uma nova preparação de dados; uma preparação arquivada não é oferecida para treinamento; um modelo arquivado não aparece no chat de Treinar, Avaliar ou Testar e não pode ser o ponto de partida para um treinamento contínuo. Um link antigo também não pode iniciar um trabalho a partir de um item arquivado.
- Fora dos gráficos, não da fatura. O painel deixa os modelos e avaliações arquivados fora do ranking e dos gráficos de qualidade, e mostra quantos itens estão arquivados. Os gastos ainda os contabilizam, pois o dinheiro foi gasto de qualquer maneira.
- Legível e restaurável. A partir da página Arquivo, um item arquivado é aberto como estava, com um banner e um botão Restaurar. Uma vez restaurado, o item retorna a todas as listas inalterado.
- Não durante a execução. Uma tarefa de treinamento, uma preparação de dados em andamento ou uma avaliação em análise não podem ser arquivadas. Conclua ou cancele-as primeiro.
| Arquivar | Excluir | |
|---|---|---|
| Registro mantido | Sim | Não |
| Visível em qualquer lugar | Na página Arquivo | Não |
| Reversível | Sim (Restaurar) | Não |
| Contabiliza nos gastos | Sim | Não |
A linhagem permanece intacta
Os modelos frequentemente são construídos uns sobre os outros: uma execução de preferência continua a partir de uma execução supervisionada, que continuou de uma anterior. Arquivar um modelo pai o oculta dos seletores, não do histórico. Um modelo continuado a partir de um modelo arquivado ainda mostra de onde veio, e sua avaliação ainda é comparada com esse modelo pai. Este é o mesmo princípio que as equipes de pesquisa utilizam para reprodutibilidade: manter o rastro completo dos dados até o resultado, mesmo para os experimentos que não tiveram sucesso.
- Você treinou dez variantes de um modelo: três taxas de aprendizado, dois modelos base e duas versões de conjunto de dados.
- As avaliações mostram um vencedor claro e um segundo colocado próximo. Mantenha ambos visíveis.
- Arquive os outros oito modelos junto com as suas avaliações, para que o gráfico de melhores modelos do painel compare apenas os candidatos ativos.
- A versão mais antiga do conjunto de dados foi substituída por uma melhor. Arquive-a e também as suas preparações, para que ninguém treine nela por engano.
- Três meses depois, alguém pergunta: “Tentamos uma taxa de aprendizado mais alta?” O Arquivo contém a execução, as suas configurações e a avaliação que mostra por que ela perdeu.
Quando optar pela exclusão
Arquive por padrão; exclua deliberadamente. A exclusão faz sentido quando manter o item é, por si só, o problema — por exemplo, um conjunto de dados que nunca deveria ter contido determinados dados pessoais. Observe que o arquivamento não interrompe os custos que continuam por conta própria, como uma implantação dedicada: encerre-os separadamente.
Erros comuns
- Excluir execuções malsucedidas e, mais tarde, repetir o mesmo experimento porque ninguém se lembra de que ele falhou.
- Arquivar um modelo, mas não suas avaliações, de modo que o painel ainda o classifique no ranking.
- Deixar conjuntos de dados substituídos visíveis, de modo que uma nova execução seja treinada na versão antiga por engano.
- Esperar que itens arquivados desapareçam dos gastos: o dinheiro foi gasto de qualquer maneira.
Referências e leitura complementar
Fontes externas abrem em uma nova aba.
- 01Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program)Pineau et al., 2020 · arXiv · arxiv.orgPor que manter o registro completo dos experimentos, incluindo os malsucedidos, é importante.
- 02Hidden Technical Debt in Machine Learning SystemsSculley et al., 2015 · NeurIPS · papers.nips.ccO artigo clássico sobre como os sistemas de ML acumulam complexidade oculta, incluindo experimentos não rastreados e dependências de dados.
- 03MLflow TrackingMLflow docs · mlflow.orgUma ferramenta de código aberto amplamente utilizada para registrar execuções, parâmetros e resultados.