MoE é a sigla de Mixture of Experts, ou Mistura de Especialistas. É uma arquitetura que divide parte do modelo em grupos especializados e ativa apenas os grupos considerados mais úteis para cada entrada.
O roteador escolhe parte do modelo
Uma equipe com especialistas de áreas diferentes ajuda a visualizar a arquitetura. Uma solicitação financeira vai para quem entende de finanças; uma dúvida jurídica segue para outro especialista. Cada pessoa participa quando seu conhecimento é necessário.
Dentro do modelo, o processo segue quatro etapas:
- O modelo recebe a entrada.
- Um componente de roteamento identifica quais especialistas podem contribuir mais.
- Apenas uma parte dos especialistas processa aquela entrada.
- Os resultados são combinados para formar a resposta final.
Essa seleção acontece dentro do próprio modelo. A aplicação não costuma escolher os especialistas manualmente.
Total não é o mesmo que ativo
Um modelo MoE pode ter muitos parâmetros no total, mas usar apenas parte deles em cada execução. Essa parte é chamada de parâmetros ativos.
Um modelo com 100 bilhões (100B) de parâmetros, por exemplo, pode ativar 20 bilhões (A20B) para uma entrada específica. O processamento usa uma parte da estrutura, mas o modelo completo ainda precisa ser armazenado ou distribuído entre máquinas.
Todos os parâmetros precisam continuar carregados ou acessíveis. Eles podem estar distribuídos entre RAM, GPU ou máquinas diferentes.
Os nomes Qwen3-30B-A3B e Qwen3-235B-A22B mostram essa diferença. O primeiro número indica os parâmetros totais; o valor depois da letra A, os ativos. Assim, 30B-A3B representa 30 bilhões no total e 3 bilhões ativos. Já 235B-A22B reúne 235 bilhões no total e ativa 22 bilhões.
O ganho aparece no processamento
A arquitetura MoE combina especialistas voltados a conteúdos diferentes com o uso parcial dos parâmetros em cada entrada. Isso permite atender tarefas variadas sem acionar toda a estrutura a cada execução.
Em comparação com um modelo denso de tamanho semelhante, menos parâmetros participam de cada entrada. A estrutura também pode crescer em capacidade com um custo de processamento mais controlado.
Apesar da comparação com uma equipe humana, o modelo não pensa como pessoas. Os especialistas são partes matemáticas treinadas para reconhecer e processar padrões diferentes.
Quando esse desenho faz sentido
MoE faz sentido quando o projeto precisa lidar com vários tipos de tarefa sem aumentar demais o custo de cada resposta. A economia de processamento não elimina a exigência de memória nem o trabalho de infraestrutura.
Antes de adotar um modelo desse tipo, compare a memória necessária, a infraestrutura disponível e a qualidade obtida na tarefa real. A relação entre tamanho do modelo e tipo de tarefa também entra nessa escolha.