写在前面

本篇文章的内容主要来自内核源码树 Documentation/admin-guide/sysctl/kernel.rst文件。

softlockup vs hardlockup

softlockup 是一种触发系统在内核态中一直循环超过 20 秒导致其它任务没有机会得到运行的 BUG。
hardlockup 是一种触发系统在内核态一直循环超过 10 秒导致其它中断没有机会运行的缺陷。

核心区别在于 softlockup 触发的时候中硬件中断仍旧能够正常运行。

如上信息摘自 Softlockup与hardlockup检测机制(又名:nmi_watchdog)。

sysctl 配置中 panic、oops 相关项目

ftrace_dump_on_oops

配置当内核 oops 时是否调用 ftrace_dump函数打印 ftrace 缓冲区的内容到串口中，可用于获取触发内核 oops 时的 ftrace 跟踪内容来定位问题原因。

hardlockup_all_cpu_backtrace

此配置控制当 hard lockup 检测器检测到一个 hard lockup 时是否收集更多调试信息的行为。当使能时，将会 dump 每种硬件架构特定的 cpu 栈信息。

hardlockup_panic

配置在检测到 hard lockup 产生时是否触发内核 panic。

hung_task_all_cpu_backtrace

当此选项设置时，当检测到一个 hung 住的任务时内核会向所有的 CPU 发送一个 NMI 中断来 dump 栈回溯信息。当 CONFIG_DETECT_HUNG_TASK与CONFIG_SMP内核配置开启时此项配置才会存在。

hung_task_panic

配置检测到一个 hung 住的任务时内核的行为，当CONFIG_DETECT_HUNG_TASK内核配置开启时此项配置才会存在。

hung_task_check_count

配置内核检查 hung 任务数量的最大值，当CONFIG_DETECT_HUNG_TASK内核配置开启时此项配置才会存在。

hung_task_timeout_secs

当一个任务处于 D 状态且超过了此项配置的时间未被调度时内核会告警，当CONFIG_DETECT_HUNG_TASK内核配置开启时此项配置才会存在。

hung_task_check_interval_secs

配置 hung task 检测的周期。当 hung task 检测使能时，检测将会在按照每 hung_task_check_interval_secss 进行，当CONFIG_DETECT_HUNG_TASK内核配置开启时此项配置才会存在。

hung_task_warnings

配置告警的最大数量。在一个检测周期内检测到 hung 住任务时，该值会减 1，当该值为 0 时，后续告警信息不会再报告。当CONFIG_DETECT_HUNG_TASK内核配置开启时此项配置才会存在。

当配置为 -1 时表示不限制报告次数。

hyperv_record_panic_msg

控制 panic kmsg 数据是否要报告给 Hyper-V。

nmi_watchdog

这个参数可以用来控制 x86 系统中 NMI watchdog（用于 hard lockup 检测器）的行为。

hard lockup 检测器工作原理：

监控每一个 cpu 相应时钟中断的能力。该机制利用 CPU 性能计数寄存器，这些寄存器被编程为在 CPU 繁时周期性生成不可屏蔽中断（NMI），因此被称为 “NMI watchdog”。

当内核在一个 KVM 虚拟机器中作为 guest 运行时，NMI watchdog 默认关闭。可以在 guest 内核命令行中添加 nmi_watchdog=1来覆盖默认行为，以使能 nmi watchdog 功能。

oops_all_cpu_backtrace

当该配置设置时，当一个 oops 事件产生时内核将会向所有的 CPU 发送一个 NMI 中断来 dump 栈回溯信息。当 panic 不能触发时、kdump 不能工作时（例如为了保护正在运行的 VMs）它可以作为最后的报告手段。当CONFIG_SMP内核配置开启时此项配置才会存在。

panic

此配置决定了内核触发 panic 后的行为。

当使用了软件看门狗时，建议的配置是 60s。

panic_on_io_nmi

配置当一个 CPU 收到了由于 IO 错误触发的 NMI 中断时的内核行为。

panic_on_oops

配置当一个 oops、内核 BUG 产生时内核的行为。

panic_on_stackoverflow

配置当检测到不包含用户栈之外的内核栈、中断栈、异常栈溢出时的内核行为，当CONFIG_DEBUG_STACKOVERFLOW内核配置开启时此项配置才会存在。

panic_on_unrecovered_nmi

当一个 memory NMI、其它未知 NMI 中断触发时，Linux 的默认行为是继续向下执行。在大多数环境例如科学计算中，最好取出盒子并处理错误，而不是传播未校正的奇偶校验/ ECC 错误。

少数系统可能会出于奇怪的随机原因（如电源管理）产生 NMI，因此默认设置为关闭。

panic_on_warn

当配置时，内核执行到 WARN 语句是会调用 panic 接口，能够实现在 WARN 的位置尝试 kdump 时避免重新编译内核。

panic_print

使用位掩码控制 panic 触发时打印的系统信息。用户可以选择组合如下的位：

要在 panic 的时候打印进程和内存信息，可以执行如下命令：

echo 3 > /proc/sys/kernel/panic_print
1

panic_on_rcu_stall

当设置为 1 时，将会在 RCU stall 检测信息打印后调用 panic 函数，可以用于生成一个 vmcore 定位 RCU stalls 问题。

softlockup_all_cpu_backtrace

该值控制当 soft lockup 检测器线程检测到一个 soft lockup 时是否收集更多的调试信息。当使能时，每个 cpu 将会被报告一个 NMI 并指示捕获栈帧。
该属性只有当架构支持 NMI 的时候才能使用。

softlockup_panic

该值控制当 soft lockup 被检测到时是否触发内核 panic。

soft_watchdog

该值可用于控制 soft lockup 检测器的开启与关闭。

soft lockup 检测器会监控每个 cpu 上持续占用 cpu 且没有主动重新调度的线程，进而阻止 ‘watchdog/N’ 线程的运行。

该机制依赖 cpu 正常响应时钟中断来周期性调用 watchdog 时间函数来唤醒 ‘watchdog/N’ 。

watchdog

该参数可用于同时配置 soft lockup 检测器与 NMI watchdog 的关闭与开启 。

soft lockup 检测器与 NMI watchdog 也可以使用 soft_wathdog与nmi_watchdog配置项单独控制。

watchdog_cpumask

该参数用于配置 watchdog 运行的 cpu 核掩码。默认的配置为在所有可能的 cpu 核上运行，但当内核配置开启了 NO_HZ_FULL 功能且通过内核启动参数配置某些核开启 nohz_full 时，这些核上默认将不会运行 watchdog。该掩码可以包含那些离线的核，当这些核稍后变为在线状态时，watchdog 会按照掩码值启动。

通常该掩码被用来在那些因为开启了 nohz_full 功能而没有运行 watchdog 的核上开启 watchdog 以检测这些合上是否存在 lockup。

要在 0 2 3 和 4 核上开启 watchdog，可以执行如下命令：

  echo 0,2-4 > /proc/sys/kernel/watchdog_cpumask
1

watchdog_thresh

该值可用于控制 hrtimer 与 NMI 事件的频率以及 soft 和 hard lockup 的水位线。默认水位线为 10s，softlockup 的水位线为 2*watchdog_thresh（默认 20s），当将该配置设置为 0 时 lockup 检测功能也会关闭。

总结

上述内容可以分为如下几个类别：

1. 配置某种严重异常触发时内核的行为
   1. 继续尝试执行
   2. 触发 panic
   3. 收集更多调试信息
   4. 重启
2. 配置异常检测功能的内部参数
   1. 检测周期
   2. 检测判定条件

后续构造各种内核异常条件测试都将以本文的内容为基础！