Mixture of Experts

Aussi appelé : Mixture of Experts · MoE · architecture d'experts · MoEs · mixtures of experts

Terme Débutant 🧠 Concepts fondamentaux

Mis à jour le 8 juin 2026

L'architecture Mixture of Experts (MoE) divise un grand modèle en plusieurs sous-réseaux spécialisés, activant seulement les experts les plus pertinents pour répondre à chaque question spécifique.

📖 Définition

Le Mixture of Experts (MoE) est une architecture de réseau de neurones qui divise le modèle en plusieurs sous-réseaux spécialisés appelés « experts », parmi lesquels seul un petit nombre est activé pour chaque requête. Un mécanisme de routage détermine dynamiquement quels experts sont les plus pertinents pour traiter l'entrée donnée. Cette approche permet de construire des modèles extrêmement grands en nombre total de paramètres, tout en maintenant un coût de calcul raisonnable à chaque inférence. Le MoE est au cœur de plusieurs grands modèles de langage récents.

💬 En termes simples

Imaginez un grand cabinet multidisciplinaire au centre-ville de Québec : quand un client arrive avec un dossier fiscal, la réceptionniste le dirige vers les deux ou trois spécialistes les plus pertinents plutôt que de mobiliser l'ensemble des 50 professionnels du cabinet. Le cabinet possède une expertise totale immense, mais chaque mandat ne sollicite qu'une fraction ciblée des ressources.

🎯 Exemple concret

En 2026, un fournisseur infonuagique canadien propose un modèle MoE bilingue français-anglais qui active des experts linguistiques distincts selon la langue détectée, offrant une qualité supérieure en français québécois. Une entreprise de jeux vidéo de Montréal utilise un MoE pour générer simultanément des dialogues, des textures et de la musique en activant des experts créatifs différents selon la tâche. Un centre hospitalier universitaire déploie un MoE médical dont certains experts sont spécialisés en radiologie et d'autres en pathologie.

💡 Le saviez-vous ?

Le modèle Mixtral de Mistral AI possède environ 47 milliards de paramètres au total mais n'en active qu'environ 13 milliards par requête, ce qui lui permet de rivaliser avec des modèles beaucoup plus coûteux en calcul. Le concept de Mixture of Experts a été proposé dès 1991 par Robert Jacobs et Geoffrey Hinton, mais il a fallu attendre les avancées matérielles des années 2020 pour qu'il devienne véritablement pratique à grande échelle.

❓ Questions fréquentes

Pourquoi utiliser plusieurs petits experts plutôt qu'un seul grand génie ?

C'est une question d'efficacité. Un modèle géant consomme énormément d'énergie pour chaque mot généré. Avec le MoE, vous avez la puissance d'un immense modèle, mais vous n'utilisez qu'une fraction de ses capacités à chaque fois. Cela permet d'avoir des réponses plus précises et plus rapides, car l'IA ne fait travailler que les parties du cerveau nécessaires à votre demande.

Comment cette approche améliore-t-elle la pertinence des réponses ?

Chaque expert se spécialise au fil de l'entraînement : l'un devient bon en code, l'autre en poésie, un troisième en droit québécois. Le mécanisme de routage dirige votre question vers le bon spécialiste. Vous obtenez ainsi une expertise plus pointue dans chaque domaine, tout en gardant un modèle polyvalent capable de jongler avec tous vos types de requêtes.

Quels sont les défis techniques liés au MoE ?

L'architecture est plus complexe à entraîner et nécessite une gestion très fine de la mémoire, car tous les experts doivent être prêts à être activés instantanément. Pour bien commencer, tournez-vous vers des modèles open-source récents comme Mixtral qui ont prouvé que cette technologie est désormais accessible et extrêmement performante pour les usages commerciaux.

📚 Sources

Mistral AI - Mixture of Experts (Mistral AI, 2023)
ArXiv - Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (Shazeer et al., 2017)

🔗 Termes liés

🏷️ Catégorie parente

Apprentissage profond

Accueil

Outils

Annuaire

Apprendre