资源与支持
July 02, 2025

汽车 AI 新突破:SiFive XM 平台成功支持 BEVFormer 自动驾驶模型

Pavel Chupin, Senior Director of AI Software, SiFive

Birdseye view

SiFive 很高兴地宣布:BEVFormer 模型已成功部署在 SiFive 的 Intelligence XM IP 上,这是基于 RISC-V 的早期可用 AI 加速解决方案。此成果凸显了开放标准硬件处理自动驾驶复杂感知工作负载的潜力。

BEVFormer:成熟模型,新的挑战

BEVFormer 于 2022 年发布,是一成熟的基于 Transformer 的 Bird’s Eye View (BEV) 感知模型,对自动驾驶至关重要。它将来自六个 900×1600 分辨率摄像头的输入转换为 200×200 的 BEV 表征,从而支持稳健的 3D 目标检测、空间推理及时序信息融合。

BEVFormer Image

虽然 BEVFormer 本身并不新颖,但真正的突破在于将这复杂模型成功移植到 SiFive Intelligence XM 平台 —— 一个新兴的、可用的 RISC-V 架构上。这次部署展示该平台应对高要求 AI 工作负载的能力,为未来汽车创新奠定基础。

RISC-V 与 SiFive Intelligence XM IP 的优势

汽车 AI 需要高性能、可定制、且具备能效优势的计算平台,以支持生命周期长的系统。传统专有处理器在灵活性方面往往存在不足,而 RISC-V 开放标准指令集架构(ISA)通过允许为特定工作负载(如神经网络推理和实时控制)量身定制处理器设计,解决了上述痛点。

SiFive Intelligence XM 平台目前仍处于早期可用阶段,基于此架构构建多核设计,包含四个 X 系列内核(每个内核配备 1024 位 RISC-V 矢量单元)及一个矩阵引擎,用于高效执行矩阵运算。其高度集成的架构最大限度地降低延迟,并消除异构系统中常见的回退性能损失。这使得 BEVFormer 的各种模块:卷积层、可变专注度机制、标量操作,能在同一个二进制文件中无缝执行,简化开发流程并提升性能。 SiFive XM Series 攻克部署难点

在 XM 系列 IP 上运行 BEVFormer 是一项复杂工程,团队需针对多项技术挑战提出创新解决方案。借助由 IREE 驱动的 SiFive AI/ML 参考软件栈,团队对模型进行了一系列优化以适配 XM 平台。关键步骤包括:

  • 模型转换:解决 PyTorch 1.9.1 与 OpenMMLab 的兼容性问题,将 BEVFormer 转换为 ONNX 格式,并利用 IREE 的 iree-import-onnx 工具转为 MLIR。
  • 自定义算子支持:将关键算子(如 Modulated_Deform_Conv2D 和 Multi_Scale_Deformable_Attention)实现为高效的微内核,充分利用 RISC-V 矢量扩展(RVV)指令提升性能。
  • CUDA 到 RISC-V 的移植:将 CUDA 内核转换为可移植的 C/C++ 及 RVV 代码,借助大语言模型(LLM)辅助原型开发,节省工程人力。
  • 矩阵引擎优化:通过 IREE 的 mmt4d 框架,将矩阵密集型运算(如矩阵乘)映射到矩阵引擎,实现硬件加速。

整个流程在 nuScenes 数据集上通过 XM 平台的 QEMU 仿真进行验证,准确率与 PyTorch 基线完全一致。可视化输出进一步验证了模型在生成 BEV 表示时的高精度,证明了该平台的强大能力。

未来的基石

这项成果的意义并不在于 BEVFormer 模型本身的新颖性,而在于通过 SiFive AI/ML 参考软件栈,证明 SiFive Intelligence XM 平台可以胜任复杂 AI 工作负载。成功部署像 BEVFormer 这样成熟的模型,表明 RISC-V 有能力与传统汽车计算解决方案竞争,同时具备更大的灵活性与可定制性。由 IREE 驱动的 SiFive AI/ML 参考软件栈也为后续更多 AI/ML 模型的尝试提供了可能,开发者可基于已有的开源技术进行探索和复用。

SiFive 团队正在持续通过内核调优和代码生成优化性能。随着 RISC-V 在汽车 AI 领域的持续发展,这一里程碑将有助于 SiFive 平台成为可扩展、开放标准解决方案的新标杆。

深入探索,加入我们

您还可以在 GitHub 上查看 BEVFormer 的完整代码库。 有兴趣评估 SiFive Intelligence XM 平台,或在汽车 AI 领域与我们合作吗?SiFive 拥有业界最丰富的汽车 RISC-V 解决方案组合。欢迎联系我们,一起推动自动驾驶的未来发展!