Dictionnaire IA / MoE (Mixture of Experts)
🏗️ Modèles et entraînement
MoE (Mixture of Experts)
Architecture où le modèle a de nombreux « experts », mais n'active qu'une partie d'entre eux pour chaque tâche.
Mixture of Experts est une architecture où le modèle se compose de nombreux sous-réseaux spécialisés (« experts »), mais n'active que quelques-uns d'entre eux à chaque requête. Ainsi, le modèle peut avoir un nombre total de paramètres énorme, tout en fonctionnant rapidement et à moindre coût - car seule une fraction travaille à la fois. MoE est à l'origine de nombreux modèles de pointe ces dernières années, notamment ouverts. Pour l'utilisateur, c'est un détail technique, mais cela explique le paradoxe apparent : comment des modèles de centaines de milliards de paramètres peuvent répondre instantanément.
Concepts associés