本文分享自华为云社区《 KubeEdge Sedna v0.6 & Ianvs v0.2 重磅发布：边云协同终身学习全面升级》，作者： 云容器大未来 。
本文探讨了边缘智能应用在开放世界问题中的挑战和解决方案，重点介绍了KubeEdge SIG AI发布的KubeEdge Sedna v0.6 及 Ianvs v0.2，这两个开源项目全面提升了边云协同终身学习的功能和性能。边云协同终身学习模仿人类的学习方式，结合云端的知识库和边缘的数据，实现了多任务迁移学习、未知任务的识别和处理、灾难性遗忘的防止等能力。
支持非结构化数据场景下的开放世界边云协同终身学习
提供开源数据集、基线算法和评价指标的完整测试套件
机器学习技术在过去十年里经历了资本市场的起伏，但始终保持着技术创新的势头。例如，AlphaGo多次战胜世界围棋冠军，AlphaFold预测了98.5%的人类蛋白质结构，ChatGPT聊天机器人的对话能力令人惊叹，甚至已应用到专业咨询和研发等领域。不可否认，机器学习在规则明确的封闭环境中，如游戏场景，已经展现出超越人类的智能水平，并且在这样的环境中出现错误的风险也相对较低。直到现在，这场持续十年的技术盛宴时有中场休息，但仍在不断延续，并非一时之兴。
然而，在这场耀眼的机器学习盛宴背后，也存在着不少挑战。随着机器学习应用逐渐向边缘部署，在更接近用户、面对更多开放环境的边缘智能场景中，机器学习的局限性也日益显现。近五年来，相关的公开报道屡见不鲜，如图1所示。
图1 近五年的国内外边侧智能设备异常样例
从这一系列案例可以看到，在开放世界（Open World）中的边缘智能技术会面临许多长尾应用（Long Tailed Application）或异常案例（Corner Case），用户会发现部署的机器学习模型遇到与训练数据不同或不匹配的输入，导致模型的性能下降或出现错误。例如，物体识别模型可能无法识别在复杂路况中的障碍物，语音识别模型可能无法处理噪音干扰的语音，图像生成模型可能无法根据复杂的文本生成合理的图像等。
通常，当模型部署在多变边侧环境中，就容易出现开放世界问题。用户也可以通过下列基准测试方法量化判断边侧模型是否面临开放世界问题：
图1的案例同时也说明，开放世界是边缘智能应用的普遍问题，而不只是某款特定产品或服务设计缺陷的特例。开放世界问题将长期、持续且普遍存在于边缘智能领域，主要有两个原因：
开放世界问题是边缘智能应用面临的一个普遍而持久的挑战，需要从系统和算法两个层面进行解决。
开放世界的长尾应用或异常案例有两个特点，形态多样和数据稀缺。这对边缘智能技术的系统性能和算法性能都有影响：
因此，开放世界问题是边缘智能应用面临的一个普遍而持久的挑战，需要从系统和算法两个层面进行解决。
▍1. 社区历史解决方案
为了解决开放世界中的边缘智能问题，我们可以借鉴人类的学习过程。人类能够在开放世界中正常工作和生活，是因为每个人在不断地积累和活用过去以及他人的知识，学习更多知识 [3]。基于人类的学习机制，KubeEdge SIG AI已在国际学术会议上发表了边云协同终身学习的正式定义 [4,5]：在云侧知识库中有N个历史训练任务情况下，推理当前任务和未来M个边侧任务，并持续更新云侧知识库。其中，M可以无限增加，而边侧M个推理任务可能与云侧知识库N个历史训练任务不同。 具体来说，边云协同终身学习从系统和算法两个方面，采用下述技术应对开放世界问题。
KubeEdge SIG AI持续开源边云协同终身学习研发成果。2021年KubeEdge-Sedna v0.3版本发布了业界首个边云协同终身学习开源特性。2022年KubeEdge-Ianvs v0.1发布业界首个分布式协同AI基准测试，并支持增量学习特性。如图2所示，Sedna和Ianvs的终身学习历史实现在架构及工程层面有下述优势能力：
图2 KubeEdge SIG AI边云协同终身学习架构
▍2. 边云协同终身学习全面升级
本次KubeEdge SIG AI对边云协同终身学习全面升级，以应对开放世界应用场景。KubeEdge SIG AI最新发布的Sedna v0.6和Ianvs v0.2提供以下增强特性：
图3 KubeEdge SIG AI边云协同终身学习算法流程
对应的更新版边云协同终身学习流程如图3所示，下面章节对三项新特性分别展开介绍。
2.1 升级特性一：支持非结构化数据场景
边云协同终身学习需要适应开放世界的多种场景。开放世界中不仅有机器控制等结构化数据，还有音视频等非结构化数据。同时，面向开放世界的工作也将贯穿整个边云协同终身学习流程，边缘模型运行时可能遇到未知任务，需要提前识别、及时处理和更新，确保服务鲁棒性和可靠性以应对开放世界。下面分享一个相关案例。
图4演示案例展示机器人智能导航案例，可用于机器人递送或工业巡检。该案例在华为园区部署基于KubeEdge-Sedna终身学习的语义分割技能，终身学习可以通过斜坡等新类别检测，应对未知情况，如越过低矮障碍物，最终实现智能导航。案例演示视频已在国际开源顶会Open Source Summit Japan 2022、第一届云原生边缘计算学术研讨会（KEAW'22）、以及KubeEdge社区公开课 [12-14]发布。验证结果显示，该模型在Corner Case下的精度提升1.78倍，单次递送时间减少28.04%。
图4 KubeEdge-Sedna云机器人终身学习案例
终身学习相关算法如终身SLAM、终身目标检测等，近年来因为能够应对边缘数据异构和小样本问题而收到关注。但现实世界的实践，需要进一步考虑其边云协同实现。为加速研究和成果转化， KubeEdge SIG AI开源了边云协同终身学习基准测试套件，帮助人工智能应用开发者验证并选择最合适的边云协同终身学习算法。本次发布的特性还支持语义分割应用样例，可用于机器人导航、巡检、清洁、送货等场景。
在本次版本发布中，KubeEdge-Ianvs 同时提供了开箱即用的真实数据集（名称待定）、基线算法、关键指标，供开发者探索和使用，如图5所示。
图5 边云协同终身学习基准测试套件：全新数据集
（1）机器人巡检场景：
基于占位符的未知任务识别 未知任务识别是机器人异常检测和巡检场景中终身学习的关键问题。在这些场景中，如果无法检测到未知情景，将会造成严重的经济损失。传统机器学习方法只能通过训练有限的已知样本来进行测试集推理。对于新类别的未知样本，它们无法有效识别，而是将它们当作已知样本来处理。因此，如何识别和处理未知样本或未知任务，将成为人工智能未来的重要研究方向。KubeEdge Ianvs在边云协同终身学习场景下，复现了CVPR2021论文《Learning placeholders for open-set recognizes》[15]，如图6所示。该论文提出了一种模仿新类出现的占位符方法，可以将封闭集训练转化为开放集训练。这项工作可以推动未知任务识别的研究，帮助我们探索解决这一问题的多种方案。
图6 机器人巡检场景：基于占位符的未知任务识别
（2）机器人巡检场景：基于生成对抗网络的未知任务处理
图7 机器人巡检场景：基于生成对抗网络的未知任务处理
（3）自动驾驶场景：基于多任务联合推理的未知任务处理
自动驾驶是边缘AI的重要应用领域之一，它需要研究如何协同边缘和云端资源为自动驾驶应用提供支持。自动驾驶对边缘 AI 推理性能有很高的要求。一方面，由于车辆运动的特点，自动驾驶车辆面临的场景复杂多变，适用的任务不确定，因此需要根据任务关系动态更新联合推理的方式。另一方面，自动驾驶对实时性的要求也很高，这需要我们在精度和延迟之间进行权衡。因此，边缘设备支持此类应用的难度很大。在自动驾驶感知的情况下，很多因素都会影响某个任务训练的模型的性能，而对于某些任务，我们不得不使用次优的模型进行推理，这会大大降低推理性能。联合推理可以提高感知性能，并且这种方法已经成功应用于Sedna历史项目中，例如头盔检测示例。本次发布在Ianvs上的算法为终身学习功能添加了对多任务联合推理的支持。该功能将支持以自动驾驶汽车为代表的边缘设备在满足实时需求的基础上，在本地完成高精度的神经网络推理，主要基于BDD100k等异构多任务自动驾驶感知数据集进行研究。
图8 自动驾驶场景：基于多任务联合推理的未知任务处理
▍3. Release Note
如果读者对于本次版本发布的更多细节感兴趣，欢迎查阅 Sedna v0.6 及 Ianvs v0.2 Release Note：
https://github.com/kubeedge/sedna/releases/tag/v0.6.0
https://github.com/kubeedge/ianvs/releases/tag/v0.2.0
后续KubeEdge SIG AI将发布系列文章，陆续具体介绍本次全面升级的特性，欢迎各位读者继续关注社区动态。
参考文献
[1] Zheng, Z., Li, Y., Song, H., Wang, L., & Xia, F. (2022, October). Towards Edge-Cloud Collaborative Machine Learning: A Quality-aware Task Partition Framework. In Proceedings of the 31st ACM International Conference on Information & Knowledge Management (ACM CIKM’22), pp. 3705-3714.
[2] Zheng, Z., Luo, P., Li, Y., Luo, S., Jian, J., & Huang, Z. (2022, June). Towards lifelong thermal comfort prediction with KubeEdge-Sedna: online multi-task learning with metaknowledge base. In Proceedings of ACM e-Energy’22, pp. 263-276.
[3] B. Liu, Lifelong machine learning: a paradigm for continuous learning., Frontiers of Computer Science. 11, no. 3 (2017): 359-361., 2017.
[4] Huawei Cloud Developers. Support edge-cloud collaborative lifelong learning features, KubeEdge sub-project Sedna 0.3.0 version released! [EB/OL]. 2021-06-07. https://segmentfault.com/a/1190000040132422/en.
[5] 郑子木. KubeEdge-Sedna v0.3：迈向次时代自动定制的AI工程范式 [J]. 自动化博览. vol. 39., no. 344 (2022.02): pp. 72-75. 2022.
[6] Zheng, Zimu, Jie Pu, Linghui Liu, Dan Wang, Xiangming Mei, Sen Zhang, and Quanyu Dai. "Contextual anomaly detection in solder paste inspection with multi-task learning." ACM Transactions on Intelligent Systems and Technology (TIST) 11, no. 6 (2020): 1-17.
[7] Zheng, Z., Xie, D., Pu, J., & Wang, F. (2020, June). Melody: Adaptive task definition of cop prediction with metadata for hvac control and electricity saving. In Proceedings of ACM e-Energy’20. pp. 47-56.
[8] Zheng, Z., Wang Y., Dai Q., Zheng H., Wang, D. "Metadata-driven task relation discovery for multi-task learning." In Proceedings of IJCAI (CCF-A), 2019.
[9] Zheng, Z., Chen, Q., Fan, C., Guan, N., Vishwanath, A., Wang, D., & Liu, F. "Data Driven Chiller Sequencing for Reducing HVAC Electricity Consumption in Commercial Buildings." In Proceedings of ACM e-Energy, 2018. Best Paper Award.
[10] Zheng, Z., Chen, Q., Hu, C., Wang, D., & Liu, F. "On-edge Multi-task Transfer Learning: Model and Practice with Data-driven Task Allocation." In Proceedings of IEEE TPDS (CCF-A), 2019.
[11] Chen, Q., Zheng, Z., Hu, C., Wang, D., & Liu, F. "Data-driven task allocation for multi-task transfer learning on the edge. " In Proceedings of IEEE ICDCS (CCF-B), 2019.
[12] Siqi Luo. From Ground to Space: Cloud-Native Edge Machine-Learning Case Studies with KubeEdge-Sedna [EB/OL]. 2022-12-05. https://www.youtube.com/watch?v=bIaeWGelsJE
[13] 郑子木. 边云协同终身学习在智慧园区及工业领域创新探索及落地 [EB/OL]。KEAW’22。2022-11-17. https://www.bilibili.com/video/BV1Me411N7gA/
[14] 郑子木，杨浩进. KubeEdge云原生边缘计算公开课12-边缘智能进阶：适配多样场景和应对分布式系统 [EB/OL]. 2022-12-27. https://www.bilibili.com/video/BV1W44y1R7uB
[15] Zhou, D. W., Ye, H. J., & Zhan, D. C. (2021). Learning placeholders for open-set recognition. In Proceedings of CVPR (pp. 4401-4410).
华为将于2023年9月20-22日，在上海世博展览馆和上海世博中心举办第八届华为全联接大会（HUAWEICONNECT 2023）。本次大会以“加速行业智能化”为主题，邀请思想领袖、商业精英、技术专家、合作伙伴、开发者等业界同仁，从商业、产业、生态等方面探讨如何加速行业智能化。
我们诚邀您莅临现场，分享智能化的机遇和挑战，共商智能化的关键举措，体验智能化技术的创新和应用。您可以：
感谢您一如既往的支持和信赖，我们热忱期待与您在上海见面。
大会官网：https://www.huawei.com/cn/events/huaweiconnect
欢迎关注“华为云开发者联盟”公众号，获取大会议程、精彩活动和前沿干货。
文探讨了边缘智能应用在开放世界问题中的挑战和解决方案，重点介绍了KubeEdge SIG AI发布的KubeEdge Sedna v0.6 及 Ianvs v0.2。