PróximamenteEl Entrenamiento de modelos estará disponible pronto en Scalata Enterprise. Enseñe a un modelo a responder como lo hace su equipo.Ver próximas novedades

Recursos/Entrenamiento de modelos/Métodos de entrenamiento

Método

Aprendizaje a partir de documentos: generación de preguntas y respuestas

La generación de preguntas y respuestas convierte los documentos en ejemplos de entrenamiento: un modelo lee cada sección de su texto y redacta preguntas realistas, con respuestas extraídas únicamente de esa sección. A continuación, los pares se entrenan como cualquier otro chat, en todos los proveedores.

Capítulo 76 min de lectura5 referencias

Qué es

Un modelo sometido a un ajuste fino con unas pocas docenas de chats suele aprender el tono y el formato rápidamente. Lo que no aprende son los hechos que nunca vio: qué planes incluyen exportaciones, cuánto dura un enlace compartido o cómo se llama un ajuste. Las evaluaciones lo muestran claramente: un modelo así obtiene buenas puntuaciones en tono y formato, pero deficientes en exactitud. Los hechos suelen residir en documentos: artículos de ayuda, manuales, páginas de productos.

La generación de preguntas y respuestas reescribe esos documentos en el formato que el entrenamiento supervisado comprende. Un modelo lee cada sección del texto y redacta algunos pares de preguntas y respuestas al respecto. Esos pares se incorporan a su conjunto de datos como ejemplos ordinarios, de modo que los hechos llegan al modelo a través de la misma preparación, entrenamiento y evaluación que sus chats.

¿Por qué no entrenar simplemente con el texto en sí? Las investigaciones sugieren que los modelos aprenden mal los hechos a partir de una sola copia. Ovadia et al. (2023) descubrieron que a los modelos «les cuesta aprender nueva información factual mediante el ajuste fino no supervisado» y que ver muchas variaciones del mismo hecho resulta útil. Yang et al. (2024) señalan que un modelo debe ver un hecho en «cientos o miles de representaciones diversas» para aprenderlo durante el preentrenamiento. Las preguntas redactadas con diferentes palabras son exactamente ese tipo de variaciones, y también enseñan al modelo a recuperar el hecho cuando se le pregunta.

Incorporación de documentos a un conjunto de datos

  • Suba archivos: PDF, Word, PowerPoint, texto, Markdown o HTML.
  • Seleccione archivos que ya estén en Scalata; su texto extraído se reutiliza.
  • Pegue direcciones de páginas web. Solo páginas públicas: se conserva el texto principal y se descartan los menús y pies de página. Se rechazarán las direcciones que apunten al interior de su red.
  • Importe filas de texto sin formato de un conjunto de datos de Hugging Face (páginas web, libros…). Las filas se unen en documentos de hasta 40.000 caracteres.
  • Seleccione archivos de una fuente de datos conectada como Google Drive, OneDrive, Amazon S3 o Snowflake. Solo se enumeran los documentos legibles, no se pueden seleccionar archivos de más de 50 MB y la fuente solo se lee, nunca se modifica.

El texto de cada documento se lee una vez y puede comprobarse con Ver texto antes de utilizarse. Esa comprobación merece un minuto de su tiempo: un PDF escaneado con texto deficiente, o una página que es principalmente de navegación, generará preguntas deficientes.

Cómo funciona

  1. División en secciones. El texto se divide en secciones de unas 900 palabras. Las secciones vecinas se solapan un poco, de modo que un hecho que cae en un límite aparece completo en al menos una de ellas.
  2. Lectura de una sección a la vez. El modelo generador que elija lee una sección y redacta algunos pares realistas de preguntas y respuestas.
  3. Preguntas como las de los usuarios. Se formulan del modo en que la gente escribe realmente («cómo comparto esto»), no como preguntas de examen.
  4. Respuestas solo de la sección. El generador no puede utilizar hechos que no estén en el texto que tiene delante. Una sección sobre la que no hay nada que preguntar, como una lista de referencias, no genera preguntas.
  5. Su tono. Si el conjunto de datos ya contiene chats, se muestran algunas respuestas reales al generador para que las respuestas suenen como su producto.
  6. Ejemplos ordinarios. Los pares llegan al conjunto de datos, donde puede revisarlos, editarlos o eliminarlos antes de la preparación.
ARTÍCULO DE AYUDA · 2500 PALABRASsección 1sección 2sección 3superposiciónsuperposición
de la sección 1¿cómo comparto un informe con un cliente?Abra el informe → Compartir → elija el cliente.
de la sección 2¿necesita el cliente una cuenta para abrirlo?No. El enlace se abre sin ella y caduca a los 7 días.
de la sección 3¿puedo dejar de compartir más tarde?Sí. Compartir → Administrar enlaces → Revocar.
Un artículo se convierte en ejemplos de entrenamiento. El texto se divide en secciones de unas 900 palabras; las secciones adyacentes comparten un poco de texto (sombreado), para que un dato en el límite se vea completo. Un modelo lee cada sección y redacta preguntas tal como las escriben los usuarios, con respuestas extraídas únicamente de esa sección. El artículo y los pares son ilustrativos.
Un par generado, como ejemplo de entrenamiento
{"messages": [
  {"role": "user",      "content": "does the client need an account to open a shared report?"},
  {"role": "assistant", "content": "No. The link opens without an account and expires after 7 days. You can revoke it any time under Share → Manage links."}
]}
Un artículo de ayuda, de principio a fin (ilustrativo)
  1. Un artículo de 2500 palabras sobre cómo compartir informes se incluye en el conjunto de datos. La vista de texto muestra párrafos limpios, por lo que está listo.
  2. Se divide en tres secciones: palabras 1–900, 800–1700 y 1600–2500. La oración sobre la caducidad de los enlaces después de 7 días se encuentra en la palabra 850, por lo que aparece completa tanto en la sección 1 como en la sección 2.
  3. El generador escribe tres pares por sección: nueve ejemplos. Una pregunta es «¿necesita el cliente una cuenta para abrirlo?», respondida únicamente a partir de la sección 2.
  4. Usted revisa los nueve y corrige una respuesta que mezclaba dos configuraciones. Revise una muestra en cada ejecución: una respuesta generada es tan buena como la sección de la que proviene.
  5. Los nueve ejemplos se entrenan con sus chats. Las puntuaciones de exactitud de la evaluación en las preguntas sobre compartir son las que le indican que funcionó.

Cómo obtener buenos pares

  • Utilice únicamente documentos actualizados. Los pares de un manual obsoleto enseñan datos obsoletos, con total seguridad.
  • Priorice el texto limpio. Los artículos de ayuda y las páginas de productos funcionan mejor; las páginas de tablas, referencias o navegación aportan poco.
  • Combínelo con chats reales. Los pares generados aportan los hechos; los chats reales aportan el comportamiento de múltiples turnos y los casos extremos que los usuarios presentan en la realidad.
  • No sobrecargue el modelo con datos nuevos. Gekhman et al. (2024) descubrieron que los ejemplos de ajuste fino con conocimientos nuevos para el modelo se aprenden más lentamente y, una vez aprendidos, lo hacen más propenso a alucinar. Mantenga las respuestas fundamentadas y considere la recuperación para los datos que cambian con frecuencia.

¿Generación de preguntas y respuestas o preentrenamiento continuo?

CompararPreguntas y respuestas generadasPreentrenamiento continuo
ProveedoresTodos los proveedoresHugging Face; modelos abiertos de Vertex AI
Texto necesarioFunciona a partir de unas pocas páginasDecenas de miles de palabras o más
EnseñaHechos, en forma de respuestasSolo conocimiento; responder requiere una ejecución supervisada posterior
¿Se puede revisar?Sí, cada parSolo el texto de origen

Elija las preguntas y respuestas generadas cuando desee mejores respuestas a corto plazo y en cualquier proveedor. Elija el preentrenamiento continuo cuando disponga de un gran volumen de documentación y entrene modelos abiertos, idealmente seguido de preguntas y respuestas generadas o de un entrenamiento de chat que continúe a partir de ahí.

Configuración

Tamaño de la secciónTípico Unas 900 palabras, con un ligero solapamiento#

La cantidad de texto que el generador lee a la vez. Unas 900 palabras, con un ligero solapamiento entre secciones vecinas para que un hecho situado en un límite se vea completo. Las secciones más grandes proporcionan al generador más contexto, pero tienden a producir preguntas únicamente sobre los hechos más destacados; las más pequeñas cubren los detalles de manera más uniforme, pero pierden el contexto circundante.

Modelo generadorTípico Un modelo rápido y asequible que sigue bien las instrucciones#

El modelo que lee cada sección y redacta los pares. Un modelo capaz sigue la regla de «responder solo a partir de la sección» de forma más fiable y redacta preguntas más naturales. La generación supone un coste único por documento y suele ser reducido en comparación con el entrenamiento; la estimación se muestra antes de empezar.

Errores comunes

  • Omitir la revisión. Una respuesta generada es tan precisa como su sección, y el generador aún puede mezclar dos hechos.
  • Introducir documentos obsoletos o borradores. El modelo aprende exactamente lo que dice el texto.
  • Entrenar únicamente con pares generados. Sin chats reales, el modelo puede responder bien a los hechos, pero gestionar mal las conversaciones reales.
  • No comprobar Ver texto en archivos escaneados o con mucho formato, donde el texto extraído puede ser ininteligible.
  • Juzgar el resultado por el tono. La generación de preguntas y respuestas busca la exactitud, así que lea las puntuaciones de exactitud de la evaluación.

Referencias y lecturas adicionales

Las fuentes externas se abren en una pestaña nueva.

  1. 01Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMsOvadia et al., 2023 · arXiv · arxiv.orgLos modelos aprenden mal los hechos nuevos a partir de texto sin procesar; disponer de muchas variaciones de un hecho resulta útil.
  2. 02Synthetic continued pretrainingYang et al., 2024 · arXiv · arxiv.orgReescritura de un corpus pequeño en un texto sintético mucho más variado para que un modelo pueda aprender de él.
  3. 03Physics of Language Models: Part 3.1, Knowledge Storage and ExtractionAllen-Zhu & Li, 2023 · arXiv · arxiv.orgExperimentos controlados que demuestran que el conocimiento debe verse en formas variadas para poder recuperarse mediante preguntas.
  4. 04Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?Gekhman et al., 2024 · arXiv · arxiv.orgPor qué enseñar muchos hechos nuevos mediante el ajuste fino puede aumentar las alucinaciones.
  5. 05Instruction Pre-Training: Language Models are Supervised Multitask LearnersCheng et al., 2024 · arXiv · arxiv.orgAumento del texto sin procesar con pares de instrucción-respuesta generados durante el preentrenamiento continuo.
MétodoPreentrenamiento continuoEl preentrenamiento continuo entrena un modelo con su texto sin procesar de la misma manera en que se entrenó inicialmente: prediciendo la siguiente palabra. Añade conocimiento de su dominio, no un comportamiento nuevo, por lo que suele ir seguido de una ejecución supervisada.MétodoDatos sintéticos y el Generador de conjuntos de datosCómo un modelo capaz puede redactar las conversaciones de ejemplo que usted aún no tiene, y cómo las instrucciones, el plan, las comprobaciones y la revisión del Generador de conjuntos de datos mantienen esos chats variados, fundamentados y bajo su control.ConceptoQué es un conjunto de datosUna colección congelada y con nombre de ejemplos de entrenamiento —copiados de chats, escritos por un modelo o importados— además de cualquier documento del cual aprender: por qué es una instantánea en lugar de un enlace, y qué significa eso para las correcciones, las importaciones y la reproducibilidad.Mejor prácticaQué hace que un conjunto de datos sea buenoLas propiedades que determinan si el ajuste fino mejora un modelo — correcto, coherente, variado, centrado y representativo — y cómo comprobar cada una antes de entrenar.MétodoAjuste fino supervisado (SFT)El ajuste fino supervisado enseña a un modelo mediante ejemplos: se le muestra una conversación y la respuesta deseada, y sus pesos se ajustan para que dicha respuesta sea más probable, token por token.ConceptoPrompting, recuperación o ajusteTres formas de adaptar un modelo a su caso de uso: qué cambia cada una, cuánto cuesta y cómo elegir entre ellas o combinarlas.

Convierta semanas de trabajo experto en minutos

Vea cómo Scalata se adapta a su equipo, a sus datos y a sus Controles.

Contactar con ventas