Modelos de pesos abertos

O que é

Um modelo fechado, como Gemini ou GPT, reside apenas nos servidores de seu provedor. Você pode fazer o fine-tuning dele por meio do provedor, mas nunca poderá baixá-lo, portanto, ele não pode ser treinado em sua própria máquina. Um modelo de pesos abertos é publicado como arquivos de pesos que qualquer pessoa pode baixar: Qwen, Llama, Mistral, Phi e Gemma, a família aberta do Google, entre outros. Pesos abertos não são o mesmo que código aberto: os dados e o código de treinamento frequentemente não são publicados, e a licença define o que você pode fazer com o modelo.

A contrapartida é controle versus conveniência. Com pesos abertos, você escolhe o hardware, mantém o modelo treinado e pode executá-lo onde quiser, inclusive de forma totalmente offline. Com um modelo fechado, o provedor gerencia o hardware, mas o modelo ajustado permanece em seus servidores e só pode ser usado por meio de seu serviço.

O que verificar antes de escolher um

O que verificar na página de um modelo antes de fazer o fine-tuning, para um modelo ilustrativo de 7B. Os cinco primeiros decidem se ele é um ponto de partida sensato; licença e acesso restrito são termos que você mesmo deve ler e aceitar.

Tamanho, que define a memória que uma máquina precisa para treiná-lo.
Licença. Muitos modelos usam licenças permissivas, como a Apache 2.0; outros têm seus próprios termos, como a licença da comunidade do Llama ou os termos de uso do Gemma. Leia-os antes de usar um modelo comercialmente.
Restrição de acesso, se o Hugging Face exige que você aceite os termos antes de fazer o download.
Formato. Prefira pesos em safetensors, um formato de arquivo que contém apenas números, para que seu carregamento não possa executar códigos ocultos. Checkpoints mais antigos baseados em pickle podem executar códigos quando são carregados.
Arquitetura e ferramentas. Uma arquitetura totalmente nova pode levar algum tempo para ser suportada por bibliotecas de treinamento comuns; uma família bem estabelecida é um ponto de partida mais seguro.

Interpretando uma versão

Uma família geralmente publica várias versões de cada tamanho. Um modelo base é treinado apenas para continuar o texto; um modelo instruct (chat) passa por um ajuste adicional para seguir instruções; e frequentemente há cópias pré-quantizadas, em formatos como FP8, MXFP4, GGUF ou AWQ, criadas para serem executadas com baixo custo. O número no nome, como 7B, conta os parâmetros em bilhões e define a quantidade de memória necessária para o treinamento.

Apenas precisão total

Alguns modelos são publicados já compactados, em formatos de 8 bits (FP8) ou 4 bits (MXFP4), para torná-los mais baratos de executar. O treinamento precisa da versão de precisão total, porque as pequenas alterações que o treinamento faz em cada peso se perdem em números tão imprecisos. Procure a versão em BF16, por exemplo, as versões do Ministral 3 que terminam em -BF16. O QLoRA compacta o próprio modelo de precisão total, portanto, ele também começa a partir da versão BF16.

Escolhendo uma versão para fine-tuning (ilustrativo)

Um modelo instruct de 7B em safetensors BF16, Apache 2.0: um bom ponto de partida. O LoRA precisa de cerca de 2 × 7 + 3 ≈ 17 GB para treiná-lo.
A versão FP8 do mesmo modelo: mais barata para executar, mas não é um ponto de partida para treinamento. Use a versão BF16 ou deixe o QLoRA quantizá-la para 4 bits, cerca de 8 GB para treinar.
Um modelo de 8B com acesso restrito sob uma licença da comunidade: utilizável assim que você aceitar seus termos no Hugging Face, mas leia a licença para verificar os limites de uso comercial antes de desenvolver a partir dele.

Modelos com acesso restrito

Alguns editores, incluindo a Meta para o Llama e o Google para o Gemma 3, restringem o acesso aos seus modelos: é necessário aceitar a licença uma vez na página do modelo no Hugging Face antes de poder baixá-lo. O acesso pertence à sua conta do Hugging Face, portanto, qualquer ferramenta que baixe o modelo para você precisa agir em nome de uma conta que tenha aceitado os Termos de uso.

Modelos com capacidade de imagem

Alguns modelos, como o Gemma 3 e 4, Qwen3.5 e Ministral 3, também podem ler imagens. O fine-tuning com dados exclusivamente de texto treina a parte da linguagem; suas habilidades com imagens geralmente permanecem as mesmas, embora um treinamento intenso apenas com texto possa enfraquecê-las um pouco. Se as imagens forem importantes para a sua tarefa, inclua exemplos de imagens ou verifique o comportamento com imagens após o treinamento.

Escolhendo um modelo base

Adequação em primeiro lugar. Escolha entre os modelos que o seu hardware pode treinar: a regra prática da página de memória fornece uma resposta rápida.
Versões instruct para chat. A maioria das famílias publica uma versão base bruta e uma versão instruct (chat). Para treinamento em conversas, a versão instruct já segue o formato de chat e precisa de menos exemplos para ter um bom desempenho.
Menor geralmente é suficiente. Um modelo pequeno ajustado para uma tarefa específica pode se igualar a um modelo geral muito maior nessa tarefa, além de treinar e responder mais rápido. Experimente um modelo pequeno primeiro e avance para um maior apenas se a avaliação mostrar que ele não é suficiente.
Idiomas e domínio. As famílias diferem na forma como lidam com idiomas além do inglês, código ou documentos longos. Um teste rápido de chat com o modelo base mostra o seu ponto de partida.

Erros comuns

Procurar os pesos do Gemini ou do GPT para baixar. Eles são fechados; Gemma é a família de pesos abertos do Google.
Começar a partir da versão FP8 ou MXFP4 de um modelo em vez de sua versão BF16.
Esquecer de aceitar a licença de um modelo com acesso restrito no Hugging Face antes da primeira execução.
Presumir que pesos abertos significam que qualquer uso é permitido. A licença é quem decide.
Escolher um modelo grande antes de verificar se ele caberá na memória para treinar.

Referências e leitura complementar

Fontes externas abrem em uma nova aba.