Swiftlet:Mac 上运行 80B Qwen 仅需 4.3GB 内存,iPhone 可跑 35B
原标题:Swiftlet:在 Mac 上运行 80B 版 Qwen(内存 4.3 GB),在 iPhone 上运行 35B 版
推荐理由
Swiftlet 通过流式加载专家权重,在 Apple 设备上实现超低内存运行大模型,展示了 MoE 模型端侧推理的新思路,对边缘 AI 落地有启发。
ROBOAIRADAR BRIEF
结构化情报
01
发生了什么
Swiftlet 是一个基于 Swift + Metal 的运行时,可在普通 Apple 设备上运行 Qwen3-Next 和 Qwen3.5/3.6 MoE 混合模型,仅将小型稠密核心驻留内存,按需从存储流式加载路由专家权重,从而在 Mac 上以 4.3GB 内存运行 80B 模型,在 iPhone 上运行 35B 版。
02
为什么重要
Swiftlet 通过流式加载专家权重,在 Apple 设备上实现超低内存运行大模型,展示了 MoE 模型端侧推理的新思路,对边缘 AI 落地有启发。
03
行业影响
模型能力变化可能影响机器人感知、规划和交互技术栈,但落地仍取决于硬件与实时性能。
信息说明
RoboAIRadar 对公开信源进行聚合、中文整理和价值判断,不替代原始报道。 涉及产品参数、交易金额或公司声明时,请以原文为准。
查看原始报道