合并请求 - MiMo-V2.5-Pro-FP4-DFlash:MiMo-V2.5-Pro-FP4-DFlash 是驱动 MiMo-V2.5-Pro-UltraSpeed 的底层模型： FP4 量化骨干网络：对 MoE 专家采用 MXFP4 量化，同时保持模型其他部分的更高精度，在几乎无损质量的前提下，显著减小模型体积并降低内存带宽压力。 BF16 DFlash 草稿生成器：用于块扩散推测解码，每次前向传播可生成一整个块的 tokens，并让骨干网络一步完成验证。两者协同作用，既降低了每参数的位宽，又减少了骨干网络前向传播的次数，而这两者正是万亿参数模型解码过程中的两大主要成本来源。

合并请求 - MiMo-V2.5-Pro-FP4-DFlash:MiMo-V2.5-Pro-FP4-DFlash 是驱动 MiMo-V2.5-Pro-UltraSpeed 的底层模型： FP4 量化骨干网络：对 MoE 专家采用 MXFP4 量化，同时保持模型其他部分的更高精度，在几乎无损质量的前提下，显著减小模型体积并降低内存带宽压力。 BF16 DFlash 草稿生成器：用于块扩散推测解码，每次前向传播可生成一整个块的 tokens，并让骨干网络一步完成验证。两者协同作用，既降低了每参数的位宽，又减少了骨干网络前向传播的次数，而这两者正是万亿参数模型解码过程中的两大主要成本来源。 - AtomGit AI社区