Mixture of Experts (MoE) é uma arquitetura de modelo que, em vez de usar todos os parâmetros para cada token, ativa só um subconjunto — um conjunto de "especialistas" relevantes. Isso permite ter modelos com trilhões de parâmetros que rodam quase tão rápido quanto modelos muito menores.
Como funciona:
- O modelo tem N "especialistas" (cada um é uma rede neural).
- Para cada token, um "router" decide quais K especialistas ativar (tipicamente K=2 entre 8, 16 ou 64 especialistas).
- Só os especialistas selecionados fazem cálculos. Os outros ficam "dormentes" para esse token.
Exemplo: Mixtral 8x7B tem 8 especialistas de 7B cada (totalizando ~47B parâmetros), mas só ativa 2 por token (~13B ativos). Roda com velocidade de modelo de 13B mas tem capacidade próxima a um de 47B.
Vantagens:
- Mais capacidade com menos compute: dá para escalar a trilhões de parâmetros sem custo proibitivo de inferência.
- Especialização: especialistas podem se especializar em domínios (matemática, código, idiomas).
- Eficiência: ideal para modelos servidos em escala (custo por token mais baixo).
Modelos MoE famosos em 2026:
- GPT-4 (rumores apontam MoE com 8 especialistas de ~220B cada, totalizando 1.8T parâmetros).
- Mixtral 8x7B e 8x22B (Mistral AI, open source).
- Grok-2 (xAI).
- Qwen 2.5 MoE.
- DeepSeek V3 (671B parâmetros, ~37B ativos).
Desafios técnicos:
- Load balancing: garantir que especialistas sejam usados de forma equilibrada (senão alguns ficam ociosos).
- Comunicação entre GPUs: especialistas distribuídos em diferentes GPUs precisam trocar dados.
- Treinamento estável: routers podem ficar instáveis.
- Memória: você precisa carregar TODOS os especialistas em memória, mesmo ativando poucos.
Para o profissional brasileiro:
- Você não precisa entender MoE em detalhes para usar — APIs encapsulam isso.
- Mas saber que MoE existe explica por que GPT-4 e modelos similares conseguem ser tão capazes e relativamente rápidos.
- Para self-hosting, MoE pode ser problemático: precisa de bastante VRAM mesmo para inferência.
Em 2026, MoE virou padrão para modelos de fronteira. A próxima geração (GPT-5, Claude 5, Gemini 3) usa variantes ainda mais sofisticadas — mistura de especialistas + raciocínio interno + tool use nativo.