汽车 AI 新突破：SiFive XM 平台成功支持 BEVFormer 自动驾驶模型

Pavel Chupin, Senior Director of AI Software, SiFive

SiFive 很高兴地宣布：BEVFormer 模型已成功部署在 SiFive 的 Intelligence XM IP 上，这是基于 RISC-V 的早期可用 AI 加速解决方案。此成果凸显了开放标准硬件处理自动驾驶复杂感知工作负载的潜力。

BEVFormer：成熟模型，新的挑战

BEVFormer 于 2022 年发布，是一成熟的基于 Transformer 的 Bird’s Eye View (BEV) 感知模型，对自动驾驶至关重要。它将来自六个 900×1600 分辨率摄像头的输入转换为 200×200 的 BEV 表征，从而支持稳健的 3D 目标检测、空间推理及时序信息融合。

虽然 BEVFormer 本身并不新颖，但真正的突破在于将这复杂模型成功移植到 SiFive Intelligence XM 平台 —— 一个新兴的、可用的 RISC-V 架构上。这次部署展示该平台应对高要求 AI 工作负载的能力，为未来汽车创新奠定基础。

RISC-V 与 SiFive Intelligence XM IP 的优势

汽车 AI 需要高性能、可定制、且具备能效优势的计算平台，以支持生命周期长的系统。传统专有处理器在灵活性方面往往存在不足，而 RISC-V 开放标准指令集架构（ISA）通过允许为特定工作负载（如神经网络推理和实时控制）量身定制处理器设计，解决了上述痛点。

SiFive Intelligence XM 平台目前仍处于早期可用阶段，基于此架构构建多核设计，包含四个 X 系列内核（每个内核配备 1024 位 RISC-V 矢量单元）及一个矩阵引擎，用于高效执行矩阵运算。其高度集成的架构最大限度地降低延迟，并消除异构系统中常见的回退性能损失。这使得 BEVFormer 的各种模块：卷积层、可变专注度机制、标量操作，能在同一个二进制文件中无缝执行，简化开发流程并提升性能。 攻克部署难点

在 XM 系列 IP 上运行 BEVFormer 是一项复杂工程，团队需针对多项技术挑战提出创新解决方案。借助由 IREE 驱动的 SiFive AI/ML 参考软件栈，团队对模型进行了一系列优化以适配 XM 平台。关键步骤包括：

• 模型转换：解决 PyTorch 1.9.1 与 OpenMMLab 的兼容性问题，将 BEVFormer 转换为 ONNX 格式，并利用 IREE 的 iree-import-onnx 工具转为 MLIR。
• 自定义算子支持：将关键算子（如 Modulated_Deform_Conv2D 和 Multi_Scale_Deformable_Attention）实现为高效的微内核，充分利用 RISC-V 矢量扩展（RVV）指令提升性能。
• CUDA 到 RISC-V 的移植：将 CUDA 内核转换为可移植的 C/C++ 及 RVV 代码，借助大语言模型（LLM）辅助原型开发，节省工程人力。
• 矩阵引擎优化：通过 IREE 的 mmt4d 框架，将矩阵密集型运算（如矩阵乘）映射到矩阵引擎，实现硬件加速。

整个流程在 nuScenes 数据集上通过 XM 平台的 QEMU 仿真进行验证，准确率与 PyTorch 基线完全一致。可视化输出进一步验证了模型在生成 BEV 表示时的高精度，证明了该平台的强大能力。

未来的基石

这项成果的意义并不在于 BEVFormer 模型本身的新颖性，而在于通过 SiFive AI/ML 参考软件栈，证明 SiFive Intelligence XM 平台可以胜任复杂 AI 工作负载。成功部署像 BEVFormer 这样成熟的模型，表明 RISC-V 有能力与传统汽车计算解决方案竞争，同时具备更大的灵活性与可定制性。由 IREE 驱动的 SiFive AI/ML 参考软件栈也为后续更多 AI/ML 模型的尝试提供了可能，开发者可基于已有的开源技术进行探索和复用。

SiFive 团队正在持续通过内核调优和代码生成优化性能。随着 RISC-V 在汽车 AI 领域的持续发展，这一里程碑将有助于 SiFive 平台成为可扩展、开放标准解决方案的新标杆。

深入探索，加入我们

您还可以在 GitHub 上查看 BEVFormer 的完整代码库。 有兴趣评估 SiFive Intelligence XM 平台，或在汽车 AI 领域与我们合作吗？SiFive 拥有业界最丰富的汽车 RISC-V 解决方案组合。欢迎联系我们，一起推动自动驾驶的未来发展！