Los principales modelos de facturación
| Facturado | Fórmula | Habitual en |
|---|---|---|
| Por token de entrenamiento | Tokens en el archivo de entrenamiento × épocas × precio por token | La mayoría de los servicios gestionados de ajuste fino |
| Por tiempo de GPU | Tiempo de ejecución × tarifa por hora × número de GPUs | Trabajos en GPUs alquiladas, normalmente modelos abiertos |
| Por hora de entrenamiento | Horas × una tarifa por hora (alta) | Algunos ajustes finos por refuerzo alojados |
| Por token de inferencia | Tokens de entrada y salida × el precio del modelo | Evaluaciones, jueces, modelos maestros, chats de prueba |
Entrenamiento por token
Los servicios de ajuste fino gestionados cuentan los tokens de su archivo de entrenamiento y cobran por cada token que procesa el entrenamiento. Cada época vuelve a procesar todo el archivo, por lo que la factura equivale a los tokens del archivo multiplicados por el número de épocas y por el precio, que normalmente se cotiza por millón de tokens. Lea atentamente la lista de precios: algunos servicios también cobran por los tokens de validación, aplican un cargo mínimo por trabajo, fijan un precio mayor para el ajuste de preferencias que para el entrenamiento supervisado, o cobran una tarifa mensual por almacenar el modelo entrenado.
per training token: cost = tokens in the training file × epochs × price per token
per GPU time: cost = runtime in hours × hourly rate × number of GPUs- Datos: 1500 conversaciones con un promedio de 1200 tokens cada una tras la preparación: 1 800 000 tokens.
- Épocas: 3, por lo que se procesan 5 400 000 tokens de entrenamiento.
- Precio: a un precio de ejemplo de $3.00 por millón de tokens de entrenamiento, 5.4 × $3.00 = $16.20.
- Con épocas en Auto: si el proveedor hubiera elegido 2 o 4 épocas, el mismo trabajo costaría $10.80 o $21.60. Esa diferencia es la razón por la que una cifra inicial es una estimación.
- Recuento de tokens: el proveedor cuenta con su propio tokenizador, por lo que una estimación basada en la longitud del texto puede desviarse un pequeño porcentaje en cualquier dirección.
Entrenamiento por tiempo de GPU
Cuando el entrenamiento se ejecuta en GPU alquiladas, lo cual es habitual en los modelos abiertos, usted paga por el tiempo: el tiempo de ejecución del trabajo multiplicado por la tarifa por hora de la GPU y por el número de GPU. El tiempo de ejecución aumenta con el tamaño del modelo, el número de tokens, las épocas y el método. Los métodos que generan texto durante el entrenamiento, como la destilación on-policy y el aprendizaje por refuerzo, dedican gran parte de su tiempo a escribir respuestas token por token, lo que los hace más lentos por ejemplo que el entrenamiento supervisado. Un modelo más grande también puede requerir una GPU de mayor capacidad, o varias, a una tarifa por hora más alta.
- Trabajo: Ajuste fino LoRA de un modelo abierto pequeño que se ejecuta durante 45 minutos en una GPU.
- Tarifa: a un ejemplo de $1.20 por hora de GPU, 0.75 h × $1.20 = $0.90.
- Un modelo del doble de tamaño puede requerir una GPU con más memoria a una tarifa mayor, y además tarda más en ejecutarse: ambos factores se multiplican.
- La sobrecarga cuenta: iniciar, cargar el modelo y guardar el resultado suelen formar parte del tiempo facturado, lo cual es más importante en los trabajos cortos.
Qué más cuesta dinero
- Evaluación: la generación de respuestas a partir de los modelos base y ajustados, así como el modelo juez que las puntúa, se factura por token.
- Modelos maestros en la destilación: las respuestas del maestro se facturan por token de entrada y salida, además del entrenamiento del estudiante.
- Servicio: la capacidad compartida (sin servidor) se factura por token utilizado; una implementación dedicada se factura por hora mientras exista, incluso cuando está inactiva.
- Almacenamiento: algunos proveedores cobran por conservar los modelos entrenados o los archivos subidos.
Cada cifra de coste es tan fiable como la base sobre la que se sustenta, por lo que cada una lleva un estado —Final, Estimado, Pendiente o No facturado— que indica si se trata de la cifra del propio proveedor, la estimación realizada al inicio, un trabajo que aún se está ejecutando o un trabajo detenido antes de que se cobrara nada.
Cómo reducir los costes
- Depure antes de entrenar. Los duplicados, las respuestas de error y las conversaciones demasiado largas añaden tokens facturados sin añadir señal.
- Empiece poco a poco. Una primera ejecución en un subconjunto, o con menos épocas, muestra si el enfoque funciona antes de que pague por el trabajo completo.
- Utilice el modelo base más pequeño que supere su evaluación. Tanto el entrenamiento como el servicio resultarán más baratos.
- Prefiera LoRA en los modelos abiertos: menos memoria, GPU más pequeñas y ejecuciones más rápidas.
- Elimine las implementaciones dedicadas cuando terminen las pruebas; se facturan por hora.
Errores comunes
- Olvidar que las épocas multiplican la factura: cuatro épocas cuestan cuatro veces más que una.
- Presupuestar solo el entrenamiento y luego dejar una implementación dedicada en ejecución durante días.
- Comparar los precios por token entre proveedores sin comparar sus épocas, cargos mínimos y tarifas de almacenamiento.
- Entrenar con datos no depurados y pagar por tokens que solo enseñan ruido.
- Tratar una estimación inicial como un presupuesto exacto. El recuento de tokens del propio proveedor y las épocas elegidas deciden la cifra final.
Referencias y lecturas adicionales
Las fuentes externas se abren en una pestaña nueva.
- 01Amazon Bedrock PricingAmazon Web Services · aws.amazon.comUna lista de precios de un proveedor que detalla los tokens entrenados como tokens del corpus × épocas, además del almacenamiento y los precios por hora.
- 02PricingTogether AI · together.aiPrecios de ajuste fino por token según el tamaño del modelo, con cargos mínimos y tarifas separadas para el ajuste de preferencias.
- 03GPU memory usageHugging Face Transformers docs · huggingface.coPor qué el tamaño del modelo decide qué GPU, y por tanto qué tarifa por hora, necesita un trabajo.