RLHF
Entraînement du modèle sur des évaluations humaines de réponses - grâce à cela, il est utile et ne se contente pas de « prédire du texte ».
RLHF (Reinforcement Learning from Human Feedback) est une étape d'entraînement où le modèle apprend à partir d'évaluations humaines : des personnes comparent différentes réponses du modèle, indiquent les meilleures, et l'algorithme ajuste le modèle pour qu'il génère plus souvent celles qui sont préférées. C'est précisément RLHF et les techniques apparentées qui ont transformé les « prédicteurs de texte » bruts en assistants utiles, qui répondent aux questions au lieu de les continuer, refusent les demandes nuisibles et maintiennent un ton courtois. Le prix à payer est parfois que le modèle devient excessivement conciliant et acquiesce à l'utilisateur.