[转帖][译] LLVM eBPF 汇编编程(2020)

llvm,ebpf,汇编,编程 · 浏览次数 : 0

小编点评

**方法一:手动生成并修改指令流** * 使用 `Assembler` 类手动生成和修改指令流。 * 修改指令流的顺序和内容。 * 使用 `llvm-objdump` 等工具查看指令流。 **方法二:内联汇编** * 直接在 C 程序中嵌入 eBPF 汇编指令。 * 使用 `asm` 语句插入汇编代码。 * 与方法一相比,代码更简洁。 **方法三:生成并嵌入 eBPF 汇编程序** * 使用 `clang` 等编译器生成 eBPF 汇编程序。 * 将汇编程序嵌入 C 程序中。 * 与方法一和二相比,代码更加复杂,但保留了代码可读性。 **总结** * 使用 `Assembler` 类手动生成和修改指令流是一个复杂的过程。 * 使用 `asm` 语句内联汇编是一个更简洁的方法。 * 生成并嵌入 eBPF 汇编程序是一个更复杂的方法,但可以保留代码可读性。

正文

http://arthurchiao.art/blog/ebpf-assembly-with-llvm-zh/

 

译者序

本文翻译自 2020 年 Quentin Monnet 的一篇英文博客: eBPF assembly with LLVM。 Quentin Monnet 是 Cilium 开发者之一,此前也在从事网络、eBPF 相关的开发。

翻译已获得 Quentin Monnet 授权。

文章介绍了如何直接基于 LLVM eBPF 汇编开发 BPF 程序,虽然给出的 两个例子极其简单,但其流程对于开发更大的程序也是适用的。为什么不用 C,而用汇编 这么不友好的编程方式呢?至少有两个特殊场景:

  1. 测试特定的 eBPF 指令流
  2. 对程序的某个特定部分进行深度调优

原文历时(开头之后拖延)了好几年,因此文中存在一些(文件名等)前后不一致之处,翻译时已经改正 (交流之后,作者已经修正);另外,译文基于 clang/llvm 10.0 验证了其中的每个步骤,因此代码、输出等与原文不完全一致。

由于译者水平有限,本文不免存在遗漏或错误之处。如有疑问,请查阅原文。

以下是译文。



1 引言

1.1 主流开发方式:从 C 代码直接生成 eBPF 字节码

eBPF 相比于 cBPF(经典 BPF)的优势之一是:Clang/LLVM 为它提供了一个编译后端, 能从 C 源码直接生成 eBPF 字节码(bytecode)。(写作本文时,GCC 也提供了一个类似 的后端,但各方面都没有 Clang/LLVM 完善,因此后者仍然是生成 eBPF 字节码 的最佳参考工具)。

将 C 代码编译成 eBPF 目标文件非常有用,因为 直接用字节码编写高级程序是非常耗时的。此外,截至本文写作时, 还无法直接编写字节码程序来使用 CO-RE 等复杂特性。

(译) BPF 可移植性和 CO-RE(一次编译,到处运行)(Facebook,2020)。 译注。

因此,Clang 和 LLVM 仍然是 eBPF 工作流不可或缺的部分。

1.2 特殊场景需求:eBPF 汇编编程更合适

但是,C 方式不适用于某些特殊的场景,例如:

  1. 只是想测试特定的 eBPF 指令流
  2. 对程序的某个特定部分进行深度调优

在这些情况下,就需要直接编写或修改 eBFP 汇编程序。

1.3 几种 eBPF 汇编编程方式

  1. 直接编写 eBPF 字节码程序。也就是编写可直接加载运行的 二进制 eBPF 程序,

    • 这肯定是可行的,但过程非常冗长无聊,对开发者极其不友好。
    • 此外,为保证与 tc 等工具的兼容,还要将写好的程序转换成目标文件(object file),因此工作量又多了一些。
  2. 直接用 eBPF 汇编语言编写,然后用专门的汇编器 (例如 ebpf_asm)将其汇编(assemble)成字节码。

    • 相比字节码(二进制),汇编语言(文本)至少可读性还是好很多的。
  3. 用 LLVM 将 C 编译成 eBPF 汇编,然后手动修改生成的汇编程序, 最后再将其汇编(assemble)成字节码放到对象文件。

  4. 在 C 中插入内联汇编,然后统一用 clang/llvm 编译。

以上几种方式 Clang/LLVM 都支持!先用可读性比较好的方式写, 然后再将其汇编(assembling)成另字节码程序。此外,甚至能 dump 对象文件中包含的程序。

本文将会展示第三种和第四种方式,第二种可以认为是第三种的更加彻底版,开发的流程 、步骤等已经包括在第三种了。

2 Clang/LLVM 编译 eBPF 基础

在开始汇编编程之前,先来熟悉一下 clang/llvm 将 C 程序编译成 eBPF 程序的过程。

2.1 将 C 程序编译成 BPF 目标文件

下面是个 eBPF 程序:没做任何事情,直接返回零,

$ cat bpf.c
int func() {
    return 0;
}

如下命令可以将其编译成对象文件(目标文件):

# 注意 target 类型指定为 `bpf`
$ clang -target bpf -Wall -O2 -c bpf.c -o bpf.o

某些复杂的程序可能需要用下面的命令来编译:

$ clang -O2 -emit-llvm -c bpf.c -o - | \
	llc -march=bpf -mcpu=probe -filetype=obj -o bpf.o

以上命令会将 C 源码编译成字节码,然后生成一个 ELF 格式的目标文件。

1.2 查看 ELF 文件中的 eBPF 字节码

默认情况下,代码位于 ELF 的 .text 区域(section):

$ readelf -x .text bpf.o
Hex dump of section '.text':
  0x00000000 b7000000 00000000 95000000 00000000 ................

这就是编译生成的字节码!

以上字节码包含了两条 eBPF 指令:

b7 0 0 0000 00000000    # r0 = 0
95 0 0 0000 00000000    # exit and return r0

如果对 eBPF 汇编语法不熟悉,可参考:

  1. iovisor/bpf-docs 中的简洁文档
  2. 更详细的内核文档 networking/filter.txt

有了以上基础,接下来看如何开发 eBPF 汇编程序。

3 方式一:C 生成 eBPF 汇编 + 手工修改汇编

本节需要 Clang/LLVM 6.0+ 版本(clang -v)。

译文基于 10.0,结果与原文略有差异。

C 源码:

$ cat bpf.c
int func() {
	return 0;
}

3.1 将 C 编译成 eBPF 汇编(clang

其实前面已经看到了,与将普通 C 程序编译成汇编类似,只是这里指定 target 类型是 bpf (bpf target 与默认 target 的不同,见 Cilium 文档 BPF and XDP Reference Guide ):

(译) Cilium:BPF 和 XDP 参考指南(2021)。 译注。

$ clang -target bpf -S -o bpf.s bpf.c

查看生成的汇编代码:

$ cat bpf.s
        .text
        .file   "bpf.c"
        .globl  func                    # -- Begin function func
        .p2align        3
        .type   func,@function
func:                                   # @func
# %bb.0:
        r0 = 0
        exit
.Lfunc_end0:
        .size   func, .Lfunc_end0-func
                                        # -- End function
        .addrsig

接下来就可以修改这段汇编代码了。

3.2 手工修改汇编程序

因为汇编程序是文本文件,因此编辑起来很容易。 作为练手,我们在程序最后加上一行汇编指令 r0 = 3

$ cat bpf.s
        .text
        .file   "bpf.c"
        .globl  func                    # -- Begin function func
        .p2align        3
        .type   func,@function
func:                                   # @func
# %bb.0:
        r0 = 0
        exit
        r0 = 3                          # -- 这行是我们手动加的
.Lfunc_end0:
        .size   func, .Lfunc_end0-func
                                        # -- End function
        .addrsig

这行放在了 exit 之后,因此实际上没任何作用。

3.3 将汇编程序 assemble 成 ELF 对象文件(llvm-mc

接下来将 bpf.s 汇编(assemble)成包含字节码的 ELF 对象文件。这 里需要用到 LLVM 自带的与机器码(machine code,mc)打交道的工具 llvm-mc

$ llvm-mc -triple bpf -filetype=obj -o bpf.o bpf.s

bpf.o 就是生成的 ELF 文件!

3.4 查看对象文件中的 eBPF 字节码(readelf

查看 bpf.o 中的字节码:

$ readelf -x .text bpf.o

Hex dump of section '.text':
  0x00000000 b7000000 00000000 95000000 00000000 ................
  0x00000010 b7000000 03000000                   ........

看到和之前相比,

  • 第一行(包含前两条指令)一样,
  • 第二行是新多出来的(对应的正是我们新加的一行汇编指令),作用:将常量 3 load 到寄存器 r0 中。

至此,我们已经成功地修改了指令流。接下来就可以用 bpftool 之 类的工具将这个程序加载到内核,任务完成!

3.5 以更加人类可读的方式查看 eBPF 字节码(llvm-objdump -d

LLVM 还能以人类可读的方式 dump eBPF 对象文件中的指令,这里就要用到 llvm-objdump

# -d           : alias for --disassemble
# --disassemble: display assembler mnemonics for the machine instructions
$ llvm-objdump -d bpf.o
bpf.o:  file format ELF64-BPF

Disassembly of section .text:

0000000000000000 func:
       0:       b7 00 00 00 00 00 00 00 r0 = 0
       1:       95 00 00 00 00 00 00 00 exit
       2:       b7 00 00 00 03 00 00 00 r0 = 3

最后一列显示了对应的 LLVM 使用的汇编指令(也是前面我们手工编辑时使用的 eBPF 指令)。

3.6 编译时嵌入调试符号或 C 源码(clang -g + llvm-objdump -S

除了字节码和汇编指令,LLVM 还能将调试信息(debug symbols)嵌入到对象文件, 更具体说就是能在字节码旁边同时显示对应的 C 源码,对调试非常有用,也是 观察 C 指令如何映射到 eBPF 指令的好机会。

在 clang 编译时加上 -g 参数:

# -g: generate debug information.
$ clang -target bpf -g -S -o bpf.s bpf.c
$ llvm-mc -triple bpf -filetype=obj -o bpf.o bpf.s
# -S      : alias for --source
# --source: display source inlined with disassembly. Implies disassemble object
$ llvm-objdump -S bpf.o
Disassembly of section .text:

0000000000000000 func:
; int func() {
       0:       b7 00 00 00 00 00 00 00 r0 = 0
;     return 0;
       1:       95 00 00 00 00 00 00 00 exit

注意这里用的是 -S(显示源码),不是 -d(反汇编)。

4 方式二:内联汇编(inline assembly)

接下来看另一种生成和编译 eBPF 汇编的方式:直接在 C 程序中嵌入 eBPF 汇编。

4.1 C 内联汇编示例

下面是个非常简单的例子,受 Cilium 文档 BPF and XDP Reference Guide 的启发:

(译) Cilium:BPF 和 XDP 参考指南(2021)。 译注。

$ cat inline_asm.c
int func() {
    unsigned long long foobar = 2, r3 = 3, *foobar_addr = &foobar;

    asm volatile("lock *(u64 *)(%0+0) += %1" : // 等价于:foobar += r3
         "=r"(foobar_addr) :
         "r"(r3), "0"(foobar_addr));

    return foobar;
}

关键字 asm 用于插入汇编代码。

4.2 编译及查看生成的字节码

$ clang -target bpf -Wall -O2 -c inline_asm.c -o inline_asm.o

反汇编:

$ llvm-objdump -d inline_asm.o
Disassembly of section .text:

0000000000000000 func:
       0:       b7 01 00 00 02 00 00 00 r1 = 2
       1:       7b 1a f8 ff 00 00 00 00 *(u64 *)(r10 - 8) = r1
       2:       b7 01 00 00 03 00 00 00 r1 = 3
       3:       bf a2 00 00 00 00 00 00 r2 = r10
       4:       07 02 00 00 f8 ff ff ff r2 += -8
       5:       db 12 00 00 00 00 00 00 lock *(u64 *)(r2 + 0) += r1
       6:       79 a0 f8 ff 00 00 00 00 r0 = *(u64 *)(r10 - 8)
       7:       95 00 00 00 00 00 00 00 exit

对应到最后一列的汇编,大家应该大致能看懂。

4.3 小结

这种方式的好处是:源码仍然是 C,因此无需像前一种方式那样必须手动执行编译( compile)和汇编(assemble)两个分开的过程。

5 结束语

本文通过两个极简的例子展示了两种 eBPF 汇编编程方式:

  1. 手动生成并修改一段特定的指令流
  2. 在 C 中插入内联汇编

这两种方式我认为都是有用的,比如在 Netronome,我们经常用前一种方式做单元测试, 检查 nfp 驱动中的 eBPF hw offload 特性。

LLVM 支持编写任意的 eBPF 汇编程序(但提醒一下:编译能通过是一回事,能不能通过校验器是另一回事)。 有兴趣自己试试吧!

与[转帖][译] LLVM eBPF 汇编编程(2020)相似的内容:

[转帖][译] LLVM eBPF 汇编编程(2020)

http://arthurchiao.art/blog/ebpf-assembly-with-llvm-zh/ 译者序 本文翻译自 2020 年 Quentin Monnet 的一篇英文博客: eBPF assembly with LLVM。 Quentin Monnet 是 Cilium 开发者之

[转帖][译] Cilium 未来数据平面:支撑 100Gbit/s k8s 集群(KubeCon, 2022)

http://arthurchiao.art/blog/cilium-tomorrow-networking-data-plane-zh/ 作者写的非常好呢 基础支持的确非常重要呢. Published at 2022-11-12 | Last Update 2022-11-12 译者序 本文翻译自

[转帖][译] Cilium:基于 BPF+EDT+FQ+BBR 实现更好的带宽管理(KubeCon, 2022)

http://arthurchiao.art/blog/better-bandwidth-management-with-ebpf-zh/ Published at 2022-10-30 | Last Update 2022-10-30 译者序 本文翻译自 KubeCon+CloudNativeCo

[转帖][译] Linux Socket Filtering (LSF, aka BPF)(KernelDoc,2021)

http://arthurchiao.art/blog/linux-socket-filtering-aka-bpf-zh/ 译者序 本文翻译自 2021 年 Linux 5.10 内核文档: Linux Socket Filtering aka Berkeley Packet Filter (BP

[转帖][译] 流量控制(TC)五十年:从基于缓冲队列(Queue)到基于时间(EDT)的演进(Google, 2018)

http://arthurchiao.art/blog/traffic-control-from-queue-to-edt-zh/ 译者序 本文组合翻译了 Google 2018 年两篇分享中的技术部分,二者讲的同一件事情,但层次侧重不同: Netdev 2018: Evolving from AF

[转帖][译] Linux 网络栈监控和调优:接收数据(2016)

http://arthurchiao.art/blog/tuning-stack-rx-zh/ 注意:本文内容已经太老,基于 kernel 3.13 和 1Gbps 网卡驱动 igb,建议移步 kernel 5.10 + 25Gbps 驱动版: Linux 网络栈原理、监控与调优:前言 Linux

[转帖][译] Linux 系统调用权威指南(2016)

http://arthurchiao.art/blog/system-call-definitive-guide-zh/ 译者序 本文翻译自 2016 年的一篇英文博客 The Definitive Guide to Linux System Calls 。如果能看懂英文,我建议你阅读原文,或者和本

[转帖][译] RFC 1180:朴素 TCP/IP 教程(1991)

http://arthurchiao.art/blog/rfc1180-a-tcp-ip-tutorial-zh/ 译者序 本文翻译自 1991 年的一份 RFC(1180): A TCP/IP Tutorial。 本文虽距今将近 20 年,但内容并未过时,这不禁让人惊叹于 TCP/IP 协议栈生命

[转帖][译] 大规模微服务利器:eBPF + Kubernetes(KubeCon, 2020)

http://arthurchiao.art/blog/ebpf-and-k8s-zh/ Published at 2020-09-06 | Last Update 2021-02-21 译者序 本文翻译自 2020 年 Daniel Borkmann 在 KubeCon 的一篇分享: eBPF a

[转帖][译] Linux 网络栈监控和调优:发送数据(2017)

http://arthurchiao.art/blog/tuning-stack-tx-zh/ 译者序 本文翻译自 2017 年的一篇英文博客 Monitoring and Tuning the Linux Networking Stack: Sending Data。如果能看懂英文,建议阅读原文,