Skip to content

基于昇腾的具身实时推理引擎系统

Embodied Intelligence Real-time Inference Engine based on Ascend

构建自主、可靠、高效的端侧具身智能系统底座

上海交通大学并行与分布式系统 (IPADS) 实验室

Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University

技术架构

从算法到实机的完整技术栈

昇腾具身智能技术架构图

技术架构概览

本系统构建了一套完整的具身智能解决方案,跨多个底层硬件,可承载多类机械臂和本体,向上支持多例具身智能模型。 基于昇腾 310P 边缘计算芯片,通过 CANN 深度学习框架和 ATC 模型转换工具链, 实现了多种视觉-语言-动作(VLA)模型的高效部署。

系统支持从 PyTorch 动态图到昇腾静态图的自动转换,解决了 Autoregressive 和 Diffusion 模型在昇腾端侧平台上的部署难题。 通过算子重排、内存优化和混合精度等技术,在保证精度的同时实现了毫秒级推理延迟, 为机器人实时控制提供了可靠的国产算力底座。

⚙️ 完整工具链支持
🔄 动静态图转换
🎯 算子级优化
🚀 边缘端部署

π₀模型跨算力硬件推理性能横向对比

昇腾 310P vs. NVIDIA Orin vs. RTX 4090 在Jaka机械臂上运行π₀的实测对比

相同模型、相同任务在不同硬件平台上的推理性能表现

综合性能与成本分析

硬件综合对比

昇腾+π₀.₅模型实现多种任务

控制Franka机械臂完成多类型任务,展示精准操控能力

任务 1 桌面清理(方块)

任务 2 折叠毛巾

任务 3 桌面整理(多物品)

任务 4 干扰场景

不同算力下的模型精度(SR,%)对比

π₀ 模型 Lerobot仿真测试成功率对比

π₀模型任务成功率对比

π₀.₅ 模型 LIBERO 下成功率表现

π₀.₅ LIBERO数据集成功率

多任务测试成功率,展现精细化能力

仿真环境演示

跨多模型、多环境仿真任务适配

真实场景下的能力展示

WAIC 2025参展

人形机器人与观众自拍合影

网红大厨:蓑衣黄瓜切割

真实落地应用

从实验室到工业场景的实践验证

工业场景部署

基于昇腾 310P 的端侧推理方案已成功部署在真实工业环境中,实现车间气阀加工等复杂操作任务。系统在保证高精度的同时,展现出媲美熟练工的优异稳定性和实时性。

工业部署 实时推理 生产验证

"全家桶"适配能力:多模型、多形态

实验室已打通的适配链路

多模型与多机械臂统一适配 VLA All-in-One

✨ 支持的模型

OpenVLA ACT RDT Diffusion Policy Pi0 Pi0.5 SmolVLA UniVLA G0 OpenHelix ...

🤖 支持的机械臂

🤖 ALOHA 双臂
🦾 Franka 七轴
🦿 Piper 协作
🤖 JAKA 机械臂

技术团队

非常感谢您对我们项目的关注和支持!欢迎star欢迎共建!
项目链接:https://gitcode.com/cann/cann-recipes-embodied-intelligence