写在前面
本篇文章的内容主要来自内核源码树 Documentation/admin-guide/sysctl/kernel.rst
文件。
softlockup vs hardlockup
softlockup 是一种触发系统在内核态中一直循环超过 20 秒导致其它任务没有机会得到运行的 BUG。
hardlockup 是一种触发系统在内核态一直循环超过 10 秒导致其它中断没有机会运行的缺陷。
核心区别在于 softlockup 触发的时候中硬件中断仍旧能够正常运行。
如上信息摘自 Softlockup与hardlockup检测机制(又名:nmi_watchdog)。
sysctl 配置中 panic、oops 相关项目
ftrace_dump_on_oops
配置当内核 oops 时是否调用 ftrace_dump
函数打印 ftrace 缓冲区的内容到串口中,可用于获取触发内核 oops 时的 ftrace 跟踪内容来定位问题原因。
value | 含义 |
---|---|
0 | 关闭(默认配置) |
1 | dump 所有 cpu 的 ftrace buffers |
2 | dump 触发 oops cpu 的 ftrace buffers |
hardlockup_all_cpu_backtrace
此配置控制当 hard lockup 检测器检测到一个 hard lockup 时是否收集更多调试信息的行为。当使能时,将会 dump 每种硬件架构特定的 cpu 栈信息。
value | 含义 |
---|---|
0 | 关闭(默认配置) |
1 | 当 hardlockup 检测到时收集所有 cpu 的栈信息 |
hardlockup_panic
配置在检测到 hard lockup 产生时是否触发内核 panic。
value | 含义 |
---|---|
0 | 不触发 panic |
1 | 触发 panic |
hung_task_all_cpu_backtrace
当此选项设置时,当检测到一个 hung 住的任务时内核会向所有的 CPU 发送一个 NMI 中断来 dump 栈回溯信息。当 CONFIG_DETECT_HUNG_TASK
与CONFIG_SMP
内核配置开启时此项配置才会存在。
value | 含义 |
---|---|
0 | 关闭(默认配置) |
1 | 使能 |
hung_task_panic
配置检测到一个 hung 住的任务时内核的行为,当CONFIG_DETECT_HUNG_TASK
内核配置开启时此项配置才会存在。
value | 含义 |
---|---|
0 | 内核继续执行(默认配置) |
1 | 立刻触发 panic |
hung_task_check_count
配置内核检查 hung 任务数量的最大值,当CONFIG_DETECT_HUNG_TASK
内核配置开启时此项配置才会存在。
hung_task_timeout_secs
当一个任务处于 D 状态且超过了此项配置的时间未被调度时内核会告警,当CONFIG_DETECT_HUNG_TASK
内核配置开启时此项配置才会存在。
value | 含义 |
---|---|
0 | 无限超时时间,不会做任何检查 |
0:LONG_MAX / HZ | 按照配置时间进行检查 |
hung_task_check_interval_secs
配置 hung task 检测的周期。当 hung task 检测使能时,检测将会在按照每 hung_task_check_interval_secs
s 进行,当CONFIG_DETECT_HUNG_TASK
内核配置开启时此项配置才会存在。
value | 含义 |
---|---|
0 | 使用 hung_task_timeout_secs 配置作为检测周期(默认值) |
0:LONG_MAX / HZ | 按照配置时间周期性进行检查 |
hung_task_warnings
配置告警的最大数量。在一个检测周期内检测到 hung 住任务时,该值会减 1,当该值为 0 时,后续告警信息不会再报告。当CONFIG_DETECT_HUNG_TASK
内核配置开启时此项配置才会存在。
当配置为 -1 时表示不限制报告次数。
hyperv_record_panic_msg
控制 panic kmsg 数据是否要报告给 Hyper-V。
value | 含义 |
---|---|
0 | 不报告 |
1 | 报告(默认配置) |
nmi_watchdog
这个参数可以用来控制 x86 系统中 NMI watchdog(用于 hard lockup 检测器)的行为。
value | 含义 |
---|---|
0 | 关闭 hard lockup 检测器 |
1 | 打开 hard lockup 检测器 |
hard lockup 检测器工作原理:
监控每一个 cpu 相应时钟中断的能力。该机制利用 CPU 性能计数寄存器,这些寄存器被编程为在 CPU 繁时周期性生成不可屏蔽中断(NMI),因此被称为 “NMI watchdog”。
当内核在一个 KVM 虚拟机器中作为 guest 运行时,NMI watchdog 默认关闭。可以在 guest 内核命令行中添加 nmi_watchdog=1
来覆盖默认行为,以使能 nmi watchdog 功能。
oops_all_cpu_backtrace
当该配置设置时,当一个 oops 事件产生时内核将会向所有的 CPU 发送一个 NMI 中断来 dump 栈回溯信息。当 panic 不能触发时、kdump 不能工作时(例如为了保护正在运行的 VMs)它可以作为最后的报告手段。当CONFIG_SMP
内核配置开启时此项配置才会存在。
value | 含义 |
---|---|
0 | 关闭(默认行为) |
1 | 开启 |
panic
此配置决定了内核触发 panic 后的行为。
value | 含义 |
---|---|
0 | 内核持续 loop |
负数 | 内核立刻重启 |
正数 | 内核将会在配置的 s 数后重启 |
当使用了软件看门狗时,建议的配置是 60s。
panic_on_io_nmi
配置当一个 CPU 收到了由于 IO 错误触发的 NMI 中断时的内核行为。
value | 含义 |
---|---|
0 | 尝试继续运行(默认行为) |
1 | 立刻触发 panic |
panic_on_oops
配置当一个 oops、内核 BUG 产生时内核的行为。
value | 含义 |
---|---|
0 | 尝试继续运行 |
1 | 立刻触发 panic(当 sysctl panic 配置设置为非 0 值时机器将会重启) |
panic_on_stackoverflow
配置当检测到不包含用户栈之外的内核栈、中断栈、异常栈溢出时的内核行为,当CONFIG_DEBUG_STACKOVERFLOW
内核配置开启时此项配置才会存在。
value | 含义 |
---|---|
0 | 尝试继续运行 |
1 | 立刻触发 panic |
panic_on_unrecovered_nmi
当一个 memory NMI、其它未知 NMI 中断触发时,Linux 的默认行为是继续向下执行。在大多数环境例如科学计算中,最好取出盒子并处理错误,而不是传播未校正的奇偶校验/ ECC 错误。
少数系统可能会出于奇怪的随机原因(如电源管理)产生 NMI,因此默认设置为关闭。
panic_on_warn
当配置时,内核执行到 WARN 语句是会调用 panic 接口,能够实现在 WARN 的位置尝试 kdump 时避免重新编译内核。
value | 含义 |
---|---|
0 | 只打印 WARN 信息(默认行为) |
1 | 打印出 WARN 的位置后调用 panic |
panic_print
使用位掩码控制 panic 触发时打印的系统信息。用户可以选择组合如下的位:
位 | 功能 |
---|---|
bit 0 | 打印所有的任务信息 |
bit 1 | 打印系统内存信息 |
bit 2 | 打印定时器信息 |
bit 3 | 当 CONFIG_LOCKDEP 开启式打印锁信息 |
bit 4 | 打印 ftrace buffer |
要在 panic 的时候打印进程和内存信息,可以执行如下命令:
echo 3 > /proc/sys/kernel/panic_print
- 1
panic_on_rcu_stall
当设置为 1 时,将会在 RCU stall 检测信息打印后调用 panic 函数,可以用于生成一个 vmcore 定位 RCU stalls 问题。
value | 含义 |
---|---|
0 | 不调用 panic(默认行为) |
1 | 调用 panic |
softlockup_all_cpu_backtrace
该值控制当 soft lockup 检测器线程检测到一个 soft lockup 时是否收集更多的调试信息。当使能时,每个 cpu 将会被报告一个 NMI 并指示捕获栈帧。
该属性只有当架构支持 NMI 的时候才能使用。
value | 含义 |
---|---|
0 | 啥也不做(默认行为) |
1 | 捕获更多的调试信息 |
softlockup_panic
该值控制当 soft lockup 被检测到时是否触发内核 panic。
value | 含义 |
---|---|
0 | 不触发 panic |
1 | 触发 panic |
soft_watchdog
该值可用于控制 soft lockup 检测器的开启与关闭。
value | 含义 |
---|---|
0 | 关闭 soft lockup 检测 |
1 | 开启 soft lockup 检测 |
soft lockup 检测器会监控每个 cpu 上持续占用 cpu 且没有主动重新调度的线程,进而阻止 ‘watchdog/N’ 线程的运行。
该机制依赖 cpu 正常响应时钟中断来周期性调用 watchdog 时间函数来唤醒 ‘watchdog/N’ 。
watchdog
该参数可用于同时配置 soft lockup 检测器与 NMI watchdog 的关闭与开启 。
value | 含义 |
---|---|
0 | 关闭 soft 与 hard lockup 检测 |
1 | 开启 soft 与 hard lockup 检测 |
soft lockup 检测器与 NMI watchdog 也可以使用 soft_wathdog
与nmi_watchdog
配置项单独控制。
watchdog_cpumask
该参数用于配置 watchdog 运行的 cpu 核掩码。默认的配置为在所有可能的 cpu 核上运行,但当内核配置开启了 NO_HZ_FULL 功能且通过内核启动参数配置某些核开启 nohz_full 时,这些核上默认将不会运行 watchdog。该掩码可以包含那些离线的核,当这些核稍后变为在线状态时,watchdog 会按照掩码值启动。
通常该掩码被用来在那些因为开启了 nohz_full 功能而没有运行 watchdog 的核上开启 watchdog 以检测这些合上是否存在 lockup。
要在 0 2 3 和 4 核上开启 watchdog,可以执行如下命令:
echo 0,2-4 > /proc/sys/kernel/watchdog_cpumask
- 1
watchdog_thresh
该值可用于控制 hrtimer 与 NMI 事件的频率以及 soft 和 hard lockup 的水位线。默认水位线为 10s,softlockup 的水位线为 2*watchdog_thresh(默认 20s),当将该配置设置为 0 时 lockup 检测功能也会关闭。
总结
上述内容可以分为如下几个类别:
- 配置某种严重异常触发时内核的行为
- 继续尝试执行
- 触发 panic
- 收集更多调试信息
- 重启
- 配置异常检测功能的内部参数
- 检测周期
- 检测判定条件
后续构造各种内核异常条件测试都将以本文的内容为基础!
</article>
复制