Uma análise técnica atualizada por Michal Sutter compara as arquiteturas de Mixture-of-Experts (MoE) de modelos abertos como DeepSeek-V3, DeepSeek-V4, Qwen3, Qwen3.6-35B-A3B, Llama 4 Maverick, gpt-oss-120b, Kimi K2 e GLM-4.5. O levantamento mostra como diferenças em cinco parâmetros centrais de roteamento e balanceamento influenciam diretamente o uso de memória, a comunicação entre GPUs, a latência e o custo de implantação.
Todos os modelos analisados seguem o princípio de que cada token é encaminhado para especialistas específicos. A comparação considera o número total de especialistas por camada, a quantidade de especialistas ativados por token — o chamado top-k —, a presença de especialistas compartilhados, a função utilizada para pontuar os especialistas e o método de balanceamento de carga.
Segundo a análise, o número total de especialistas varia de 8 a 384, enquanto o top-k fica entre 1 e 8 por token. Em geral, uma quantidade maior de especialistas aumenta o volume de pesos que precisa permanecer na memória e o tráfego de comunicação all-to-all entre GPUs. Já valores menores de top-k reduzem o custo computacional e a comunicação necessária para processar cada token.
No DeepSeek-V3, o roteador utiliza 256 especialistas, uma função sigmoide para pontuar as opções e normaliza apenas as pontuações selecionadas. Um viés por especialista orienta a escolha dos oito especialistas do top-k sem alterar os pesos de mistura. Os especialistas são organizados em oito grupos, e o roteador seleciona primeiro os grupos antes de escolher os especialistas. O relatório técnico também destaca que “One shared expert runs for every token”, indicando a existência de um especialista compartilhado executado para todos os tokens, em um caminho denso adicional.
O DeepSeek-V4 amplia esse desenho para 384 especialistas e reduz o top-k de oito para seis por token. O modelo também substitui a função sigmoide pela sqrtsoftplus no cálculo das pontuações. Outro recurso citado na análise é o uso de roteamento por hash nas três primeiras camadas MoE: “The first 3 MoE layers use hash routing, a fixed token-to-expert map”. Nesse caso, o mapeamento entre tokens e especialistas é fixo. O modelo mantém um sistema de balanceamento baseado em viés, sem uma perda auxiliar adicional, com o objetivo de distribuir a carga sem elevar o custo do treinamento.
Os modelos originais da linha Qwen3 MoE utilizam 128 especialistas, com cada token encaminhado para oito deles, em um esquema top-8. A arquitetura não conta com especialistas compartilhados. De acordo com o relatório, “Qwen3 dropped the shared experts of Qwen2.5-MoE and adopted a global-batch balancing loss”. Isso significa que a linha abandonou o caminho denso sempre ativo e passou a usar uma perda de balanceamento calculada sobre o lote global para uniformizar o uso dos especialistas.
O Qwen3.6-35B-A3B adota uma configuração diferente: utiliza 256 especialistas roteados, oito selecionados por token e um especialista compartilhado. Na prática, o desenho reintroduz um especialista executado para todos os tokens, o que pode favorecer robustez e estabilidade, mas também acrescenta computação densa a cada etapa.
O Llama 4 Maverick combina camadas totalmente densas com camadas MoE. Em cada camada MoE, o token é encaminhado para um especialista compartilhado e para um entre 128 especialistas roteados, em uma configuração top-1 inspirada em arquiteturas como a Switch Transformer. O anúncio do modelo resume a abordagem da seguinte forma: “Llama 4 Maverick alternates dense and MoE layers, keeping 17B active parameters despite 400B in total”.
Embora o modelo tenha cerca de 400 bilhões de parâmetros no total, aproximadamente 17 bilhões permanecem ativos em cada etapa de inferência. Isso reduz o custo computacional e pode facilitar a execução em hardware com recursos mais limitados, desde que haja memória suficiente para armazenar os especialistas.
No gpt-oss-120b, a arquitetura MoE combina 128 especialistas com top-4. A configuração é descrita como “gpt-oss-120b uses a linear router over 128 experts and keeps the top 4”. O modelo não possui especialistas compartilhados, tem 117 bilhões de parâmetros e utiliza pesos MoE em formato MXFP4, o que permite acomodar o conjunto em uma única GPU de 80 GB.
A combinação entre top-4, ausência de um especialista denso compartilhado e quantização agressiva dos pesos busca reduzir o custo de inferência, preservando a flexibilidade do roteamento individual de cada token.
O Kimi K2 segue de perto a arquitetura DeepseekV3ForCausalLM, mas amplia a quantidade de especialistas. O modelo utiliza 384 especialistas e top-8, com um estilo de roteamento identificado no relatório como noaux_tc. A análise registra que “Higher sparsity lowered loss at fixed active compute”. Em outras palavras, elevar a esparsidade — aumentando o número total de especialistas e mantendo constante a quantidade ativada por token — ajudou a reduzir a perda para um mesmo custo computacional efetivo.
O GLM-4.5 segue uma direção diferente. O modelo utiliza 160 especialistas e aposta em um número maior de camadas, priorizando profundidade em vez de uma largura extrema. Essa escolha indica uma busca por maior capacidade de representação ao longo da pilha de camadas, sem levar ao limite o número de especialistas por camada.
A análise de Michal Sutter mostra que pequenas alterações nesses cinco parâmetros podem modificar significativamente o perfil de implantação de um modelo MoE. Uma das avaliações técnicas resume o desafio: “More experts per layer means more weights resident in memory and more all-to-all traffic”. Na infraestrutura, isso pode significar a necessidade de mais GPUs para armazenar os pesos e de interconexões mais rápidas para suportar a comunicação entre os dispositivos.
Por outro lado, reduzir o top-k — como ocorre no Llama 4 Maverick, com top-1, e no DeepSeek-V4, com top-6, abaixo do top-8 do DeepSeek-V3 — diminui o custo por token e a pressão sobre a rede, o que pode favorecer aplicações que exigem baixa latência. Já os especialistas compartilhados, presentes no DeepSeek-V3, no Qwen3.6-35B-A3B e no Llama 4 Maverick, adicionam um caminho denso percorrido por todos os tokens. Esse recurso pode contribuir para a estabilidade do modelo, mas aumenta o consumo de operações de ponto flutuante e o tempo de resposta.
Para equipes de ciência de dados e engenharia de machine learning, a conclusão prática é que a escolha de um modelo MoE para produção não deve considerar apenas o número total de parâmetros. Também é necessário avaliar a quantidade de especialistas, o top-k, a existência de especialistas compartilhados e o método de balanceamento. Esses elementos, descritos em arquivos de configuração e relatórios técnicos atualizados até 7 de novembro, ajudam a determinar se o modelo pode ser executado na infraestrutura disponível e qual será o custo de mantê-lo em escala.
Fonte: Miraí Broadcast