来自 Industrial-Control SIG的郭皓

将在 openEuler Developer Day 2022 分享

《openEuler在嵌入式和实时性方面的思考与实践》

欢迎大家观看直播

openEuler 22.03 LTS 版本新增了 Preempt_RT 内核实时补丁，提供软实时特性。该特性由 Industrial-Control SIG 引入，并得到 Kernel SIG、Embedded SIG 和 Yocto SIG 配合与支持，已经被集成到openEuler 22.03 LTS Server 和 openEuler 22.03 LTS Embedded 中。

什么是实时系统

实时系统的典型定义如下：“所谓实时系统，就是系统中计算结果的正确性不仅取决于计算逻辑的正确性，还取决于产生结果的时间。如果完成时间不符合要求，则可以认为系统发生了问题。”也就是说，不管实时应用程序执行的是何种任务，它不仅需要正确执行该任务而且必须及时完成。当前，Preempt_RT 维护者 Thomas Gleixner 给出的“实时”含义是：它和指定的一样快。

Linux 作为一种通用操作系统，随着时间的推移，在功能和时序行为方面一直在发展，以便适合许多其他更具挑战性的场景；尤其是实时系统对 Linux 的实时性改造一直从未停止过。

对 Linux 进行实时性改造，通常可从两个大的方向来着手。一个方向是从 Linux 内核内部开始，直接修改其内核源代码，其典型代表是 Preempt_RT 实时补丁；另一个方向则是从 Linux 内核的外围开始，实现一个与 Linux 内核共存的实时内核，即采用双内核方法，其典型实现为 RTAI/Linux，即现在的 Xenomai。

因为 Xenomai 实时内核与 Linux 内核共存，Xenomai 实时内核小而精巧，能够很好地控制其中的代码质量。Xenomai 实时内核完成了基本的硬件抽象层、任务调度管理和进程间通信管理模块等，能够满足一些硬实时系统的需求。然而，其上的实时应用通常分为实时和非实时两部分来完成 ，实时部分必须使用 Xenomai 提供的特有的 API；非实时部分则可以使用 Linux 提供的系统调用。与 Preempt_RT 实时编程相比，Xenomai 编程实现更为困难，软件移植难度更大。

与双内核机制方案相比，Preempt_RT 实时补丁最大的优势在于它遵循 POSIX 标准，使用该补丁的实时系统应用程序和驱动程序与非实时系统的应用和驱动程序差异很小。因此，在使用该补丁的平台上做相应的开发比双内核机制的方案更容易。另外，该补丁与硬件平台相关性小，可移植性高。由于 Linux 内核过于庞大，有着较多关中断、关抢占代码，加上复杂的内存管理、调度器代码逻辑等众多不确定性因素，使得 Preempt_RT 虽然具有较好的软实时性，但在硬实时性方面有所欠缺。

什么是 Preempt_RT

Preempt_RT 补丁开发始于 2005 年。之后由德国 OSADL 组织赞助，Ingo Molnar、Thomas Gleixner 和 Steven Rostedt 三人共同发起，旨在将 Linux 内核的最大线程切换延迟从无限制的毫秒数降低到数十微秒的有界值。2016 年以后成为 Linux 基金会下属合作项目。目前 Preempt_RT 的赞助者来自 ARM、BMW、CIP、ELISA、Intel、National Instruments、OSADL、RedHat 和 Texas Instruments 等。经过 Preempt_RT 和 Linux 内核工程师在抢占、实时性方面的努力，Linux 内核的抢占延迟降低了几个数量级，使其能够与商业实时操作系统竞争。业界知名的 MontaVista Linux、WindRiver Linux、TimeSys Linux 都有 RT 补丁的身影。像 RTJVM、RTKVM、RTDocker、RTAndroid 等曾经出现过的 Preempt_RT 衍生用例，响应速度都有着不同程度的提升。

多年来，该补丁的许多部分已被纳入主线 Linux，包括高分辨率计时器（2.6.16）、优先级继承（2.6.18）、可抢占的 RCU（2.6.25）、内核互斥量和线程中断处理程序（2.6.30）、完全 Tickless 机制（3.10）、DL 调度器（EDF 调度算法）（3.14）、实时抢占锁（5.15）。然而，该补丁的核心部分仍然在主线之外。从近几年的 Preempt_RT 补丁来看，当前的主要工作不是开发新功能，而是专注于增量式引入主线和特定架构的支持。

当前 openEuler 22.03 LTS 主线内核版本为 Linux Kernel 5.10，有 180 把锁无法抢占，其中 8 把锁在 RT 补丁中强制修改成无法抢占。在最新的 5.17 内核中，Preempt_RT 补丁大小为 265KB，有 189 把锁仍然无法抢占，RT 补丁不再强制修改锁为无法抢占。

当前 Preempt_RT 主要特性

• 临界区可抢占
• 中断处理程序可抢占
• 关中断代码序列可抢占
• 带有优先级继承机制的内核自旋锁和信号量
• 线程化处理 RCU
• 降低延迟措施

部署方法

二进制部署

二进制部署可以安装 openEuler 22.03 LTS 官方源中 rpm 包，需要 root 权限，命令如下：

# yum install kernel-rt

完成安装后重启设备，在 GRUB 引导界面选择 Preempt_RT 内核openEuler (5.10.0-60.18.0.rt62.52.oe2203.aarch64) 22.03 LTS
即可。启动后查看内核，即完成 openEuler 22.03 LTS Preempt_RT 二进制部署。

# uname -r5.10.0-60.18.0.rt62.52.oe2203.aarch64

获取源码

openEuler 22.03 LTS kernel-rt
源码可以直接从官方源获取，查询命令如下：

# yum search kernel-rt...kernel-rt.src : Linux Kernel

若源里包含 kernel-rt
源码，则可使用如下方式下载并安装：

# yumdownloader --source kernel-rt.src# rpm -ivh kernel-rt-5.10.0-60.18.0.rt62.52.oe2203.src.rpm && cd ~/rpmbuild

源码目录树如下：

# tree.├── SOURCES│   ├── cpupower.config│   ├── cpupower.service│   ├── extra_certificates│   ├── kernel.tar.gz│   ├── mkgrub-menu-aarch64.sh│   ├── patch-5.10.0-60.10.0-rt62_openeuler_defconfig.patch│   ├── patch-5.10.0-60.10.0-rt62.patch│   ├── pubring.gpg│   ├── sign-modules│   └── x509.genkey└── SPECS    └── kernel-rt.spec

源码部署

源码获取后，复制以下文件到自定义目录：

# lltotal 186M-rw-r--r--. 1 root root 185M Apr  2 14:27 kernel.tar.gz-rw-r--r--. 1 root root 4.5K Apr  2 14:27 patch-5.10.0-60.10.0-rt62_openeuler_defconfig.patch-rw-r--r--. 1 root root 773K Apr  2 14:27 patch-5.10.0-60.10.0-rt62.patch

补丁合入步骤如下：

# tar -xzf kernel.tar.gz && cd kernel# patch -p1 < ../patch-5.10.0-60.10.0-rt62.patch# patch -p1 < ../patch-5.10.0-60.10.0-rt62_openeuler_defconfig.patch

源码编译安装：

# make openeuler_defconfig && make -j`nproc`# make modules_install && make install# grub2-mkconfig -o $GRUB_CONFIG_PATH

嵌入式系统部署方法

嵌入式部署 Preempt_RT 方法参见：

https://openeuler.gitee.io/yocto-meta-openeuler/features/preempt_rt.html

实时性能测试

测试环境

测试结果

基于上述硬件测试环境，在 CPU 隔离、空负载、CPU 负载、内存负载、IO 负载和网卡负载等不同条件下的测试数据：

「归纳如下：」

1. 通过表 6 数据可以判断，在五种负载情况下并且 CPU 不隔离，RT 内核比非 RT 内核实时性要强。非 RT 内核与 RT 内核在 CPU 不隔离情况下，五种负载对应峰值的比值如表 7(比值数据越大表明非 RT 内核实时性越差)：

「以上数据表明，RT 内核的峰值延迟普遍要优于非 RT 内核。」

1. 结合四种设备的峰值延迟来看，CPU 负载对实时性影响一般小于 IO 和内存负载，而网卡负载影响最小。四种设备在两种内核下，CPU、内存、IO 和网卡负载与空负载比值如表 8(比值越小越稳定)：

「表 8 各项数据表明，RT 内核在负载情况下，实时性较为稳定。」

「为确保 Cyclictest 测试的有效性，经过飞腾 2000 平台空载测试 2 天，最大延迟为 58 微秒。」

实时性对系统影响测试

测试环境

测试结果

• 飞腾 D2000 平台 unixbench 测试结果

使用unixbench
单个任务测试非 RT 内核空负载、RT 内核空负载、RT 内核负载 cyclictest(cyclictest -m -h 100 -q -i100 -t 1 -p 99 -n)，三种状态详细测试结果如下(表中“RT/非 RT”、“RT 负载/非 RT”为百分比值，数值越大说明 RT 内核性能越好)：

使用unixbench
多任务测试非 RT 内核空负载、RT 内核空负载、RT 内核负载 cyclictest(cyclictest -m -h 100 -q -i100 -t 1 -p 99 -n)，三种状态详细测试结果如下(表中“RT/非 RT”、“RT 负载/非 RT”为百分比值，数值越大说明 RT 内核性能越好)：

• 飞腾 D2000 平台 lmbench 测试结果

  使用lmbench
  测试非 RT 内核空负载、RT 内核空负载、RT 内核负载 cyclictest(cyclictest -m -h 100 -q -i100 -t 1 -p 99 -n)，三种状态详细，测试十次取平均值，结果如下：

  表14：多任务Lmbench测试结果

• 飞腾 2000 平台测试结果

  飞腾 2000 平台测试结果与飞腾 D2000 平台测试结果相似度较高，具体数据不在此处列出。

测试结论

「Preempt_RT 补丁可以有效提高系统实时性，且在多种负载场景下，实时性表现较为稳定。」

「Preempt_RT 补丁对本地通讯吞吐率有一定影响，主要提现为管道读写、文件拷贝，对系统调用延迟影响大多在 2 微秒以内。」

后续工作

1. 跟随内核主线发布、维护 Preempt_RT 补丁

2. 研发实时性性能分析工具

3. 提升实时性

4. 提升吞吐率

5. 引入 RTLA、RTSL 机制等

主要参与者

特别感谢 Kernel SIG 组XieXiuQi、zhengzengkai，Embedded SIG 组wanming-hu，树莓派 SIG 组woqidaideshi，QA SIG 组suhang给予我们的帮助。