Reducción del cálculo de FFN de MoE en un 50% con enrutamiento Top-1 y poda de expertos
Explora cómo el enrutamiento top-1 y la poda de expertos pueden mejorar drásticamente el rendimiento de MoE, reduciendo el cálculo en un 50% con tiempos de ejecución óptimos.