小红书与北大开源 UltraEP:面向大规模 MoE 训练推理的实时负载均衡方案
原标题:小红书与北大开源 UltraEP:面向大规模 MoE 训推的实时负载均衡方案
推荐理由
UltraEP 提出实时负载均衡新方法,提升 MoE 训练推理效率,对大规模模型部署具有显著商业价值。
ROBOAIRADAR BRIEF
结构化情报
01
发生了什么
小红书与北大提出 UltraEP,首次将基于精确路由信息的实时负载均衡引入生产系统,通过动态复制热点专家实现高效训练与推理。在 Qwen3-235B 等模型上,训练吞吐达理想性能的 94.6%,相比 Megatron-LM 提升 42%;推理 prefill 吞吐相比 SGLang 提升 1.56 倍。
02
为什么重要
UltraEP 提出实时负载均衡新方法,提升 MoE 训练推理效率,对大规模模型部署具有显著商业价值。
03
行业影响
模型能力变化可能影响机器人感知、规划和交互技术栈,但落地仍取决于硬件与实时性能。
04
仍需确认
当前是单一公开来源,需要补充公司公告、客户确认或其他可信媒体报道。
信息说明
RoboAIRadar 对公开信源进行聚合、中文整理和价值判断,不替代原始报道。 涉及产品参数、交易金额或公司声明时,请以原文为准。
查看原始报道