Mixture of Experts (MoE) es una arquitectura de transformer en la que, en lugar de activar todos los parámetros para cada token, un router enruta cada token hacia un subconjunto de «expertos» especializados. El resultado: capacidad enorme (cientos de miles de millones de parámetros totales) sin que el coste de inferencia se dispare, porque solo se activan unos pocos miles de millones por token. GLM-5 lleva 744B totales con ~40B activos y 256 expertos; DeepSeek y MiniMax M3 siguen el mismo patrón con sus propias variantes de atención dispersa (DeepSeek Sparse Attention, MSA). Para un developer, MoE explica por qué los modelos open-weight chinos son a la vez gigantes en Hugging Face (1.5 TB de pesos) y baratos de servir: el enrutamiento hace que la inferencia cueste como un modelo pequeño aunque el modelo «sepa» como uno grande. El trade-off es el hardware de self-hosting —los pesos completos no caben en una GPU de consumo— y cierta sobrecarga en respuestas cortas, donde el routing añade latencia frente a un transformer denso.
Explícame si «<modelo>» usa arquitectura Mixture of Experts: cuántos parámetros totales tiene frente a cuántos activos por token, cuántos expertos y qué hace el router. Y dime qué implica para mí: coste de inferencia, requisitos de hardware para self-hosting y en qué casos un modelo denso rendiría mejor.
Fuentes en Web Reactiva
- GLM-5: el nuevo modelo open source que quiere jugar en la liga de Claude Opus 4.6 y GPT-5.3post2026-02-12
- MiniMax M3: el open-weight que se atreve a mirar a Opus a los ojospost2026-06-02
- Modelos de Ollama Cloud: Kimi K2.6 vs DeepSeek vs GLM-5.1post2026-04-30
- Los mejores modelos de IA para código en 2026: comparativa técnicapost2026-02-12
Artículo creado por Daniel Primo con ayuda de la IA en base a lo compartido en el podcast, vídeos y textos de Web Reactiva.