Modelos de pesos abiertos

Qué es

Un modelo cerrado, como Gemini o GPT, reside únicamente en los servidores de su proveedor. Puede ajustarlo a través del proveedor, pero nunca podrá descargarlo, por lo que no puede entrenarse en su propia máquina. Un modelo de pesos abiertos se publica como archivos de pesos que cualquiera puede descargar: Qwen, Llama, Mistral, Phi y Gemma, la familia abierta de Google, entre otros. Los pesos abiertos no son lo mismo que el código abierto: los datos de entrenamiento y el código a menudo no se publican, y la licencia establece lo que puede hacer con el modelo.

La contrapartida es el control frente a la comodidad. Con los pesos abiertos, usted elige el hardware, conserva el modelo entrenado y puede ejecutarlo donde desee, incluso de forma totalmente offline. Con un modelo cerrado, el proveedor gestiona el hardware, pero el modelo ajustado permanece en sus servidores y solo puede utilizarse a través de su servicio.

Qué comprobar antes de elegir uno

Qué comprobar en la página de un modelo antes de su ajuste fino, para un modelo ilustrativo de 7B. Los cinco primeros deciden si es un punto de partida razonable; la licencia y el acceso restringido son términos y condiciones que usted mismo debe leer y aceptar.

Tamaño, que determina la memoria que necesita una máquina para entrenarlo.
Licencia. Muchos modelos utilizan licencias permisivas como Apache 2.0; otros tienen sus propios términos, como la licencia comunitaria de Llama o los términos de uso de Gemma. Léalos antes de utilizar un modelo con fines comerciales.
Acceso restringido (gating), si Hugging Face requiere que acepte los términos antes de la descarga.
Formato. Prefiera los pesos en safetensors, un formato de archivo que solo contiene números, por lo que cargarlo no puede ejecutar código oculto. Los checkpoints más antiguos basados en pickle pueden ejecutar código al cargarse.
Arquitectura y herramientas. Una arquitectura completamente nueva puede tardar un tiempo en ser compatible con las bibliotecas de entrenamiento habituales; una familia bien establecida es un punto de partida más seguro.

Lectura de una versión

Una familia suele publicar varias versiones de cada tamaño. Un modelo base se entrena únicamente para continuar texto; un modelo de instrucciones (chat) se ajusta adicionalmente para seguir instrucciones; y a menudo existen copias precuantizadas, en formatos como FP8, MXFP4, GGUF o AWQ, creadas para ejecutarse de forma económica. El número en el nombre, como 7B, cuenta los parámetros en miles de millones y determina cuánta memoria requiere el entrenamiento.

Solo precisión completa

Algunos modelos se publican ya comprimidos, en formatos de 8 bits (FP8) o 4 bits (MXFP4), para que su ejecución sea más económica. El entrenamiento requiere la versión de precisión completa, ya que los pequeños cambios que el entrenamiento realiza en cada peso se pierden en números tan poco precisos. Busque la versión en BF16, por ejemplo, las versiones de Ministral 3 que terminan en -BF16. QLoRA comprime un modelo de precisión completa por sí mismo, por lo que también parte de la versión BF16.

Elección de una versión para el ajuste fino (ilustrativo)

Un modelo instruct de 7B en safetensors BF16, Apache 2.0: un buen punto de partida. LoRA necesita aproximadamente 2 × 7 + 3 ≈ 17 GB para entrenarlo.
La versión FP8 del mismo modelo: más económica de ejecutar, pero no es un punto de partida para el entrenamiento. Utilice la versión BF16 o permita que QLoRA la cuantice a 4 bits, lo que requiere unos 8 GB para entrenar.
Un modelo de 8B con acceso restringido bajo una licencia comunitaria: utilizable una vez que acepte sus términos en Hugging Face, pero lea la licencia para conocer los límites de uso comercial antes de desarrollar sobre él.

Modelos con acceso restringido

Algunos editores, como Meta para Llama y Google para Gemma 3, restringen el acceso a sus modelos: usted debe aceptar la licencia una vez en la página del modelo en Hugging Face antes de poder descargarlo. El acceso pertenece a su cuenta de Hugging Face, por lo que cualquier herramienta que descargue el modelo por usted debe actuar en nombre de una cuenta que haya aceptado los términos y condiciones.

Modelos con capacidad para imágenes

Algunos modelos, como Gemma 3 y 4, Qwen3.5 y Ministral 3, también pueden leer imágenes. Su ajuste fino con datos exclusivamente de texto entrena la parte lingüística; sus capacidades de imagen suelen mantenerse prácticamente igual, aunque un entrenamiento intensivo basado solo en texto puede debilitarlas un poco. Si las imágenes son importantes para su tarea, incluya ejemplos con imágenes o compruebe el comportamiento con imágenes después del entrenamiento.

Elección de un modelo base

Compatibilidad primero. Elija entre los modelos que su hardware puede entrenar: la regla general de la página de memoria ofrece una respuesta rápida.
Versiones instruct para chat. La mayoría de las familias publican una versión base sin procesar y una versión instruct (chat). Para el entrenamiento en conversaciones, la versión instruct ya sigue el formato de chat y necesita menos ejemplos para funcionar correctamente.
A menudo, más pequeño es suficiente. Un modelo pequeño ajustado para una tarea específica puede igualar a uno general mucho más grande en dicha tarea, y se entrena y responde más rápido. Pruebe primero con un modelo pequeño y cambie a uno mayor solo si la evaluación demuestra que no es suficiente.
Idiomas y dominio. Las familias difieren en su capacidad para manejar idiomas distintos al inglés, código o documentos extensos. Un chat de prueba rápido con el modelo base muestra su punto de partida.

Errores comunes

Buscar los pesos de Gemini o GPT para descargarlos. Son cerrados; Gemma es la familia de pesos abiertos de Google.
Comenzar desde la versión FP8 o MXFP4 de un modelo en lugar de su versión BF16.
Olvidar aceptar la licencia de un modelo con acceso restringido en Hugging Face antes de la primera ejecución.
Asumir que los pesos abiertos significan que se permite cualquier uso. La licencia es la que decide.
Elegir un modelo grande antes de comprobar si cabrá en la memoria para su entrenamiento.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.