小编点评

**Cilium 性能调优指南** **简介** Cilium 1.13.4K3s v1.26.6+k3s1OS3 台 Ubuntu 23.04 VM 具有更高的网络性能，但可以通过启用各种性能调优选项来进一步提升其性能。 **主要性能调优项** * **启用 Pod 的 BBR 拥塞控制**：BBR 可为互联网流量提供更高的带宽和更低的延迟，特别是在互联网流量提供更高的带宽和更低的延迟的情况下。 * **启用 eBPF 主机路由**：eBPF 主机路由保留网络数据包的套接字关联，以提高网络性能。 * **修改 MTU**：设置 MTU 为巨型帧 (jumbo frames) 可提升网络性能。 * **启用带宽管理器**：带宽管理器可以优化网络性能。 * **启用 Pod 的 BBR 拥塞控制**：BBR 可为互联网流量提供更高的带宽和更低的延迟。 * **启用 XDP 加速**：XDP 加速可以优化网络性能。 * **调整 eBPF Map Size**：调整 eBPF Map Size 可优化网络性能。 **步骤** 1. **验证您的安装**：在任何 Cilium pod 中运行 `cilium status` 并查找报告 "BandwidthManager" 状态行。 2. **启用本地路由 (Native Routing)**：启用本地路由可完全替代 KubeProxyIP 地址伪装。 3. **启用基于 eBPF 的主机路由**：启用基于 eBPF 的主机路由以保留网络数据包的套接字关联。 4. **启用 Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行**：这可以优化网络性能。 5. **启用 绕过 iptables 连接跟踪**：启用 绕过 iptables 连接跟踪以优化网络性能。 6. **启用主机路由 (Host Routing)**：启用主机路由以将数据包路由到正确的数据链路。 7. **启用基于 BPF 的网络路由**：启用基于 BPF 的网络路由以提供更高的性能。 8. **修改 MTU**：设置 MTU 为巨型帧。 9. **启用带宽管理器**：启用带宽管理器以优化网络性能。 10. **启用 Pod 的 BBR 拥塞控制**：启用 BBR 拥塞控制以提供更高的性能。 11. **启用 XDP 加速**：启用 XDP 加速以优化网络性能。 12. **调整 eBPF Map Size**：调整 eBPF Map Size 以优化网络性能。 **结论** 通过执行这些性能调优项，您可以最大限度地提高 Cilium 的网络性能。

正文

系列文章

• Cilium 系列文章

前言

将 Kubernetes 的 CNI 从其他组件切换为 Cilium, 已经可以有效地提升网络的性能. 但是通过对 Cilium 不同模式的切换/功能的启用, 可以进一步提升 Cilium 的网络性能. 具体调优项包括不限于:

• 启用本地路由(Native Routing)
• 完全替换 KubeProxy
• IP 地址伪装(Masquerading)切换为基于 eBPF 的模式
• Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行
• 绕过 iptables 连接跟踪(Bypass iptables Connection Tracking)
• 主机路由(Host Routing)切换为基于 BPF 的模式 (需要 Linux Kernel >= 5.10)
• 启用 IPv6 BIG TCP (需要 Linux Kernel >= 5.19)
• 禁用 Hubble(但是不建议, 可观察性比一点点的性能提升更重要)
• 修改 MTU 为巨型帧(jumbo frames) (需要网络条件允许)
• 启用带宽管理器(Bandwidth Manager) (需要 Kernel >= 5.1)
• 启用 Pod 的 BBR 拥塞控制 (需要 Kernel >= 5.18)
• 启用 XDP 加速 (需要 支持本地 XDP 驱动程序)
• (高级用户可选)调整 eBPF Map Size
• Linux Kernel 优化和升级
  • CONFIG_PREEMPT_NONE=y
• 其他:
  • tuned network-* profiles, 如: tuned-adm profile network-latency 或 network-throughput
  • CPU 调为性能模式
  • 停止 irqbalance，将网卡中断引脚指向特定 CPU

在网络/网卡设备/OS等条件满足的情况下, 我们尽可能多地启用这些调优选项, 相关优化项会在后续文章逐一更新. 敬请期待.

今天我们来调优 Cilium, 启用 Pod 的 BBR 拥塞控制, 以为互联网流量提供更高的带宽和更低的延迟.

测试环境

• Cilium 1.13.4
• K3s v1.26.6+k3s1
• OS
  • 3 台 Ubuntu 23.04 VM, Kernel 6.2, x86

BBR 拥塞控制

Cilium 的带宽管理器提供的围绕 MQ/FQ 设置的基础架构还允许对 Pod 使用 TCP BBR 拥塞控制。当 Pod 被暴露在 Kubernetes 服务背后，面对来自互联网的外部客户端时，BBR 尤其适用。BBR 可为互联网流量提供更高的带宽和更低的延迟，例如，事实证明，BBR 的吞吐量可比目前最好的基于损耗的拥塞控制高出 2,700 倍，队列延迟可降低 25 倍。

为了让 BBR 在 Pod 上可靠运行，它需要 5.18 或更高版本的内核。

BBR 还需要 eBPF Host-Routing，以保留网络数据包的套接字关联，直到数据包进入主机命名空间物理设备上的 FQ 队列 discipline。

要求

• 内核 >= 5.18
• 带宽管理器
• eBPF 主机路由

实施

启用带宽管理器和 Pod 的 BBR：

helm upgrade cilium cilium/cilium --version 1.13.4 \
  --namespace kube-system \
  --reuse-values \
  --set bandwidthManager.bbr=true

验证

要验证您的安装是否使用 Pods 的 BBR 运行，请在任何 Cilium pod 中运行 cilium status，并查找报告 "BandwidthManager" 状态的行，该行应显示 EDT with BPF 以及 [BBR]。具体如下:

$ kubectl -n kube-system exec ds/cilium -- cilium status | grep BandwidthManager
BandwidthManager:           EDT with BPF [BBR] [eth0]

总结

本文继续调优 Cilium, 启用 Pod 的 BBR 拥塞控制, 以为互联网流量提供更高的带宽和更低的延迟. 前提是 Kernel >= 5.18, 并启用带宽管理器和基于 eBPF 的主机路由.

至此，性能调优已完成实战验证：

• ✔️ 启用本地路由 (Native Routing)
• ✔️ 完全替换 KubeProxy
• ✔️ IP 地址伪装 (Masquerading) 切换为基于 eBPF 的模式
• ✔️ Kubernetes NodePort 实现在 DSR(Direct Server Return) 模式下运行
• ✔️ 绕过 iptables 连接跟踪 (Bypass iptables Connection Tracking)
• ✔️ 主机路由 (Host Routing) 切换为基于 BPF 的模式 (需要 Linux Kernel >= 5.10)
• ❌ 启用 IPv6 BIG TCP (需要 Linux Kernel >= 5.19, 支持的 NICs: mlx4, mlx5)
  • 由于没有支持的网卡, 无法完成验证
• ❌ 修改 MTU 为巨型帧 (jumbo frames) （需要网络条件允许）
• ✔️ 启用带宽管理器 (Bandwidth Manager) (需要 Kernel >= 5.1)
• ✔️ 启用 Pod 的 BBR 拥塞控制 (需要 Kernel >= 5.18)
• 启用 XDP 加速 （需要 支持本地 XDP 驱动程序）

📚️参考文档

• Bandwidth Manager - Tuning Guide — Cilium 1.13.4 documentation
• Bandwidth Manager - Cilium 1.9: Maglev, Deny Policies, VM Support, OpenShift, Hubble mTLS, Bandwidth Manager, eBPF Node-Local Redirect, Datapath Optimizations, and more

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.