又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速

重要,进展,发布,openmmlab,算法,支持,ai,训练,加速 · 浏览次数 : 301

小编点评

## 上海人工智能实验室发布 MMDeploy 0.10.0 版本，支持 OpenMMLab 在 CANN 上推理部署 **上海人工智能实验室的浦视开源算法体系 (OpenMMLab) 团队**基于 **昇腾AI** 发布了 MMDeploy 0.10.0 版本，该版本已支持 OpenMMLab算法仓库在 **昇腾异构计算架构 CANN** 上的推理部署。 **MMDeploy 0.10.0 版本主要做了以下几个改进：** * 支持 OpenMMLab算法仓库在 CANN 上的推理部署。 * 基于 **昇腾AI** 的基础库（**MMEngine**、**MMCV**）及算法库（图像分类**MMClassification**、目标检测**MMDetection**）的适配，补齐了基于 **昇腾AI** 的训练加速能力。 **此外，MMDeploy 0.10.0 还包括以下功能：** * 支持 **PyTorch**、**TensorFlow**、**Caffe**、**计图** (**Jittor**) 等主流AI框架。 * 提供多种模型库，覆盖多项研究领域，支持多种底层硬件设备。 **OpenMMLab 是一个非常重要的开源算法库，它可以帮助开发者快速构建和运行各种 AI 模型。** 现在，**OpenMMLab** 已经开源了超过 30 个算法库，涵盖分类、检测、分割、视频理解等众多研究领域，拥有超过 300 种算法、2,400 多个预训练模型。 **与 **昇腾CANN** 的合作使得 OpenMMLab 可以在 **昇腾AI** 上进行加速，这将对 AI 开发者的工作带来极大的帮助。

正文

摘要：上海人工智能实验室的浦视开源算法体系（OpenMMLab）团队基于昇腾AI发布了MMDeploy 0.10.0版本，该版本已支持OpenMMLab算法仓库在昇腾异构计算架构CANN上的推理部署。

本文分享自华为云社区《又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速》，作者：昇腾CANN 。

近日，上海人工智能实验室的浦视开源算法体系（OpenMMLab）团队基于昇腾AI发布了MMDeploy 0.10.0版本，该版本已支持OpenMMLab算法仓库在昇腾异构计算架构CANN上的推理部署。而在最新发布的MMCV 1.7.0和MMEngine 0.3.0版本中，OpenMMLab基于昇腾AI软硬件底座完成了基础库（MMEngine、MMCV）及算法库（图像分类MMClassification、目标检测MMDetection）的适配，补齐了基于昇腾AI的训练加速能力。至此，OpenMMLab算法仓[1]已完整打通基于昇腾AI的训练与推理流程，基于昇腾异构计算架构CANN的开发体系与加速技术栈，开发者不仅可以基于OpenMMLab算法仓库快速构建AI模型与应用，还能充分发挥昇腾AI处理器的澎湃算力，加速训练及推理业务的执行。

CANN是专门面向AI场景的异构计算架构，同时作为昇腾AI基础软硬件平台的核心组成部分之一，搭起了从上层深度学习框架到底层AI硬件的桥梁，全面支持昇思MindSpore、飞桨（PaddlePaddle）、PyTorch、TensorFlow、Caffe、计图（Jittor）等主流AI框架，提供900多种优选模型，能够覆盖众多典型场景应用，兼容多种底层硬件设备，提供强大的异构计算能力。

OpenMMLab 诞生于 2018 年，是深度学习时代计算机视觉领域最全面、最具影响力的开源算法体系。旨在为学术和产业界提供一个可跨方向、结构精良、跨站性强、易复现的统一算法工具库。目前，OpenMMLab 已经累计开源了超过 30 个算法库，涵盖分类、检测、分割、视频理解等众多研究领域，拥有超过 300 种算法、2,400 多个预训练模型。在 GitHub 上获得超过 73,000 个标星，同时吸引了超过 1,500 名社区开发者参与项目贡献，用户遍及超过 110 个国家和地区，覆盖全国全球顶尖高校、研究机构和企业。

昇腾AI和OpenMMLab开展深度合作，共同签署了CCLA（Corporate Contributor License Agreement）协议，致力于长期全面支持OpenMMLab旗下基础仓和模型仓，共同促进更多业务场景的技术创新和生态共赢。

昇腾与OpenMMLab适配整体框架

上图展示了昇腾AI适配OpenMMLab的整体方案，其中，CANN软件栈实现了算法库在昇腾AI处理器上的加速运行；框架和基础库的适配，完成了与CANN的对接，其中torch_npu插件支撑了PyTorch[4]框架的运行，基础库中的runner、ops和dist等组件分别实现了基础运行类、自定义算子和通信协议对昇腾AI处理器的支持。CANN、框架和基础库的有机结合，支撑了基础库（MMCV）和算法库（MMClassification、MMDetection等）在昇腾AI处理器的加速运行。

通过OpenMMLab与昇腾CANN的对接，目前已完成了MMCV算子仓16+算子的适配，MMClassification与MMDetection模型套件仓共20+模型在昇腾硬件上的运行。

MMClassification适配模型参考：

https://mmclassification.readthedocs.io/en/latest/device/npu.html

MMDetection适配模型参考：

https://mmdetection.readthedocs.io/en/latest/device/npu.html

未来，随着昇腾AI和OpenMMLab合作的不断深入，双方将会从丰富算法库和更高性能的训练加速层面持续优化，促进昇腾AI和OpenMMLab的共同发展和繁荣。同时，也欢迎大家在昇腾社区和OpenMMlab的开源社区一起交流、探索和改进，共同推进计算产业发展和生态构建！