在 M1 Max 上运行 2.8T 参数的 Kimi K3:Deltafin 项目实现 0.0687 token/s 推理
推荐理由
展示了在消费级硬件上运行超大参数模型的可行性,但速度极低,实用价值有限,可作为模型推理技术前沿参考。
ROBOAIRADAR BRIEF
结构化情报
01
发生了什么
Deltafin 项目成功在 64 GB M1 Max 上运行了 2.8T 参数的 MoE 模型 Kimi K3,中位推理速度 0.0687 token/s,完整安装需约 1.7 TB 本地磁盘,流式模式仅需 215 GB 但速度更慢。项目提供 OpenAI 兼容 API 服务器,支持聊天和代码补全。
02
为什么重要
展示了在消费级硬件上运行超大参数模型的可行性,但速度极低,实用价值有限,可作为模型推理技术前沿参考。
03
行业影响
模型能力变化可能影响机器人感知、规划和交互技术栈,但落地仍取决于硬件与实时性能。
信息说明
RoboAIRadar 对公开信源进行聚合、中文整理和价值判断,不替代原始报道。 涉及产品参数、交易金额或公司声明时,请以原文为准。
查看原始报道