PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/Tokens y contexto

Concepto

Por qué los tokens determinan el coste

Cómo los recuentos de tokens se convierten en el precio de entrenamiento y de uso de un modelo, con números calculados, y qué factores reducen realmente la factura.

Capítulo 24 min de lectura4 referencias

Por qué paga

Los proveedores miden el trabajo de los modelos de lenguaje en tokens porque el cálculo que realiza un modelo crece con el número de tokens que procesa. El entrenamiento lee cada token de cada registro, una vez por época. El uso de un modelo lee cada token de entrada y genera cada token de salida, uno por uno.

Entrenamiento · facturación por token
tokens en el archivo de entrenamientocontexto + objetivos, cada registro×épocas×precio por token de entrenamiento=coste de entrenamiento
Uso · por solicitud
tokens de entrada × precio de entradaprompt del sistema, historial, documentos, pregunta+tokens de salida × precio de salidageneralmente el precio más alto=coste de una solicitud
El entrenamiento se paga una vez por ejecución y escala con las épocas. El uso de un modelo se paga en cada solicitud, y la entrada se envía de nuevo cada vez.

Coste de entrenamiento

Con el entrenamiento por token — la forma en que facturan la mayoría de los servicios gestionados de ajuste fino —, la fórmula es sencilla:

Entrenamiento por token
training cost = tokens in the training file × epochs × price per training token

Cada token del archivo cuenta, no solo las respuestas objetivo. El prompt del sistema y el contexto de cada registro también se leen durante el entrenamiento, aunque el modelo se evalúe únicamente en función de los objetivos. Un prompt del sistema largo que se repite en cada registro, o los historiales de conversación largos, encarecen el entrenamiento.

En cambio, el entrenamiento en GPU alquiladas se factura por tiempo: tiempo de ejecución × el precio por hora de la GPU. Los tokens siguen siendo importantes, ya que más tokens requieren más tiempo, pero el tamaño del modelo, el método de entrenamiento y el hardware importan en la misma medida.

Estimación de una ejecución de entrenamiento
  1. Un conjunto de datos preparado tiene 500 registros con un promedio de 800 tokens: 400.000 tokens.
  2. Tres épocas significan que el modelo procesa 1,2 millones de tokens.
  3. A un precio ilustrativo de 3 $ por millón de tokens de entrenamiento, eso equivale a unos 3,60 $.
  4. Reducir a la mitad un prompt del sistema de 200 tokens elimina 50.000 tokens del archivo — 150.000 tokens menos procesados en tres épocas.

Coste de uso

Un modelo entrenado se sirve por token en capacidad compartida, o en una implementación dedicada que se factura por hora, se utilice o no. El precio por token separa los tokens de entrada (todo lo que se envía: prompt del sistema, historial, documentos recuperados, la pregunta) de los tokens de salida (la respuesta). Los tokens de salida suelen ser varias veces más caros, ya que se generan uno por uno.

Uso por token
cost per request = input tokens × input price  +  output tokens × output price

Dado que la entrada se envía de nuevo en cada llamada, un prompt largo supone un coste recurrente. Este es uno de los argumentos prácticos a favor del ajuste fino: el comportamiento aprendido en los pesos ya no tiene que explicarse en cada solicitud.

Lo que cuesta un prompt largo a lo largo de un mes
  1. Un asistente gestiona 100.000 solicitudes al mes. Sus instrucciones tienen 1.500 tokens; la pregunta y el historial añaden otros 500.
  2. Eso supone 2.000 tokens de entrada por solicitud, o 200 millones de tokens de entrada al mes.
  3. Tras el ajuste fino, las instrucciones se reducen a 150 tokens: 650 tokens de entrada por solicitud, o 65 millones al mes — aproximadamente un tercio.
  4. Que esto ahorre dinero depende del precio del modelo con ajuste fino, que en algunos proveedores es superior al del modelo base. Compare ambos antes de decidir.

Qué reduce la factura

  • Menos ejemplos, pero mejores. Unos cientos de registros bien elegidos suelen superar a miles de registros con ruido, a una fracción del coste de entrenamiento.
  • Menos épocas. El coste crece al mismo ritmo que las épocas, y más épocas no siempre son mejores.
  • Registros más cortos. Recortar el historial antiguo y mantener breve el prompt del sistema reduce los tokens tanto de entrenamiento como de uso.
  • Un modelo más pequeño. Los precios por token caen drásticamente con el tamaño del modelo.
  • Servicio por token siempre que sea posible. Una implementación dedicada cuesta dinero cada hora que existe.

Errores comunes

  • Contar únicamente las respuestas objetivo al estimar los tokens de entrenamiento.
  • Olvidar multiplicar por el número de épocas.
  • Comparar modelos basándose únicamente en el precio de entrada, cuando los tokens de salida suelen costar más.
  • Dejar en ejecución una implementación de prueba dedicada después de haber terminado de usarla.
  • Tratar una estimación como una cotización.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01PricingClaude Platform Docs · platform.claude.comUn ejemplo de precios separados para tokens de entrada y de salida.
  2. 02Amazon Bedrock PricingAmazon Web Services · aws.amazon.comPrecios de inferencia por token, personalización y alojamiento por hora en una sola página.
  3. 03Token countingClaude Platform Docs · platform.claude.comContar los tokens antes de enviar una solicitud.
  4. 04Understand and count tokensGemini API docs · ai.google.devCómo otro proveedor cuenta y factura los tokens.
ConceptoTokensLos fragmentos de texto que un modelo realmente lee y escribe — cómo se crean, por qué los recuentos difieren entre modelos y por qué cada límite y precio en el entrenamiento se mide en ellos.ConceptoVentana de contextoEl número máximo de tokens que un modelo puede tener en cuenta a la vez, cómo se comparte ese espacio y cómo difiere del límite por ejemplo que se aplica durante el entrenamiento.ConceptoCómo se factura el entrenamientoLa mayor parte del ajuste fino gestionado se factura por token procesado: los tokens del archivo de entrenamiento multiplicados por las épocas y por un precio. En cambio, los trabajos en GPU alquiladas se facturan por tiempo. El uso posterior del modelo supone un coste aparte.ConceptoCuánto cuesta: cómo interpretar las cifrasEl trabajo de los modelos se factura de varias formas distintas, por lo que cada coste que muestra Scalata incluye un estado —Final, Estimado, Pendiente o No facturado— que indica en qué se basa la cifra.ConceptoServerless frente a dedicadoEl servicio Serverless factura por token en capacidad compartida sin costo de inactividad; una implementación dedicada reserva GPU para su modelo y factura por cada hora que existe. Cuál resulta más económico depende de cuánto lo utilice.ConceptoInferencia y despliegueLa inferencia consiste en utilizar un modelo para generar respuestas. Un modelo entrenado debe desplegarse primero —cargando sus pesos en el hardware detrás de un endpoint—, lo cual puede tardar minutos, y luego cuesta dinero por token o por hora.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas