Dictionnaire IA / LoRA

🏗️ Modèles et entraînement

LoRA (Low-Rank Adaptation) est une technique d'ajustement économique : au lieu de modifier des milliards de paramètres du modèle, on entraîne une petite « surcouche » qui modifie son comportement. Le résultat pèse des mégaoctets au lieu de gigaoctets et s'entraîne sur une seule carte graphique. LoRA a fait fureur surtout dans la génération d'images - la communauté crée des milliers de surcouches qui apprennent au modèle un style, un personnage ou un produit spécifique. Dans les modèles linguistiques, c'est une méthode populaire pour adapter à moindre coût un modèle ouvert à ses propres besoins.