Paramètres RFT

Ce qui transforme chaque réponse en un score de 0 à 1 : un modèle juge, la similarité avec votre réponse, une vérification des nombres, des vérifications de correspondance exacte, ou un mélange de ces éléments. C'est la définition de « meilleur » pour toute l'exécution, choisissez-le donc en fonction de ce que vous souhaitez réellement et vérifiez-le manuellement sur quelques réponses. La section Évaluateurs explique chaque option.

Quel LLM effectue la notation lorsque l'évaluateur inclut un juge. Un juge plus performant classe les réponses de manière plus fiable, ce qui est d'autant plus important ici car le GRPO transforme même de petites différences de score en mises à jour complètes. Son coût par appel est également plus élevé. Privilégiez un modèle issu d'une famille différente de celle du modèle en cours d'entraînement, et conservez un autre juge pour l'évaluation finale.

La taille du groupe : combien de réponses le modèle rédige pour chaque prompt par étape. Un plus grand nombre de réponses donne une image plus claire du type de réponse qui obtient un meilleur score, et augmente la probabilité qu'au moins l'une d'entre elles diffère des autres. Cela multiplie également le temps de génération et les tokens d'entrée du juge ; le juge effectue toujours un appel par prompt. Avec N = 2, la moindre différence devient un signal complet de +1 / −1.

La réponse la plus longue, en tokens, que le modèle peut rédiger par tentative. Une réponse qui atteint la limite est coupée au milieu d'une phrase et obtient généralement un mauvais score, ce qui gaspille l'étape ou apprend au modèle à être concis pour de mauvaises raisons. Fixez-la légèrement au-dessus de la longueur d'une bonne réponse : un token représente environ ¾ de mot, donc une réponse de 150 mots équivaut à environ 200 tokens. Les modèles de réflexion rédigent un long raisonnement avant de répondre ; Scalata désactive cette fonction pour eux pendant le RL afin que le budget soit alloué à la réponse.

La taille de chaque mise à jour. Les étapes de RL sont beaucoup plus petites que celles de l'apprentissage supervisé : le signal est plus bruité (scores des propres tentatives du modèle plutôt qu'une réponse correcte), et les données changent en même temps que le modèle. Une grande étape peut donc l'amener à un point dont ses prochaines réponses ne pourront pas se remettre. Avec LoRA, un taux d'environ 1e-5 est un point de départ courant ; le RL sur l'ensemble des poids utilise généralement environ 1e-6, comme l'a fait DeepSeekMath.

La force avec laquelle le modèle est maintenu près de son point de départ. À chaque étape, β × la divergence KL entre le modèle entraîné et une copie figée du modèle initial est soustrait de l'objectif. 0 signifie aucune pénalité ; c'est la valeur par défaut actuelle dans TRL et cela évite également de charger la copie figée. DeepSeekMath a utilisé 0,04. Augmentez cette valeur à partir de 0 si les réponses commencent à dériver d'une manière que l'évaluateur ne pénalise pas : formulation étrange, formatage cassé, changement de langue ou perte de compétences générales.