英伟达：Jetson AGX Thor 上 TensorRT Edge-LLM 在 MLPerf Edge Agentic 中比 llama.cpp 参考实现快 6.4 倍
原标题：Agentic AI is moving to the edge. On NVIDIA Jetson AGX Thor, TensorRT Edge-LLM completed MLPerf Edge Agentic 6.4x faster than the llama.cpp reference, reaching 52.33 token/sec for Qwen 3.6 27B model.
推荐理由
Jetson Thor 边缘推理实测 6.4 倍提速与 52.33 token/秒数据，反映端侧智能体算力快速提升，为人形机器人本地部署大模型提供参考。
ROBOAIRADAR BRIEF
结构化情报
01
发生了什么
英伟达机器人官方账号称，在 Jetson AGX Thor 边缘平台上，TensorRT Edge-LLM 于 MLPerf Edge Agentic 测试中较 llama.cpp 参考实现提速 6.4 倍，Qwen 3.6 27B 模型推理达 52.33 token/秒。加速手段包括 NVFP4 量化、约 96% 提示词 token 命中热缓存以及基于树的 MTP。数据为厂商自述。
02
为什么重要
Jetson Thor 边缘推理实测 6.4 倍提速与 52.33 token/秒数据，反映端侧智能体算力快速提升，为人形机器人本地部署大模型提供参考。
信息说明
RoboAIRadar 对公开信源进行聚合、中文整理和价值判断，不替代原始报道。 涉及产品参数、交易金额或公司声明时，请以原文为准。
查看原始报道