哈喽大家好，我是咸鱼
之前咸鱼在《Linux 网络收包流程》一文中介绍了 Linux 是如何实现网络接收数据包的
简单回顾一下：
ring buffer 中，然后触发硬中断skb_buffer），然后触发软中断ksoftirqd 执行一系列操作（例如把数据帧从 ring ruffer上取下来）然后将数据送到三层协议栈中当 Linux 要发送一个数据包的时候，这个包是怎么从应用程序再到 Linux 的内核最后由网卡发送出去的呢？
那么今天咸鱼将会为大家介绍 Linux 是如何实现网络发送数据包
假设我们的网卡已经启动好（分配和初始化 RingBuffer） 且 server 和 client 已经建立好 socket
这里需要注意的是，网卡在启动过程中申请分配的 RingBuffer 是有两个：
igb_tx_buffer 数组：这个数组是内核使用的，用于存储要发送的数据包描述信息，通过 vzalloc 申请的e1000_adv_tx_desc 数组：这个数组是网卡硬件使用的，用于存储要发送的数据包，网卡硬件可以通过 DMA 直接访问这块内存，通过 dma_alloc_coherent分配
igb_tx_buffer数组中的每个元素都有一个指针指向e1000_adv_tx_desc这样内核就可以把要发送的数据填充到
e1000_adv_tx_desc数组上然后网卡硬件会直接从
e1000_adv_tx_desc数组中读取实际数据，并将数据发送到网络上
应用程序首先通过 socket 提供的接口实现系统调用
我们在用户态使用的 send 函数和 sendto 函数其实都是 sendto 系统调用实现的
send/sendto 函数 只是为了用户方便，封装出来的一个更易于调用的方式而已
/* sendto 系统调用 省略了一些代码 */
SYSCALL_DEFINE6(sendto, int, fd, void __user *, buff, size_t, len,
unsigned int, flags, struct sockaddr __user *, addr,
int, addr_len)
{
...
sock = sockfd_lookup_light(fd, &err, &fput_needed);
...
err = sock_sendmsg(sock, &msg, len);
...
}
在 sendto 系统调用内部，首先 sockfd_lookup_light 函数会查找与给定文件描述符（fd）关联的 socket
接着调用 sock_sendmsg 函数（sock_sendmsg ==> __sock_sendmsg ==> __sock_sendmsg_nosec）
其中 sock->ops->sendmsg 函数实际执行的是 inet_sendmsg 协议栈函数
/*
__sock_sendmsg_nosec 函数
iocb：指向与 I/O 操作相关的结构体 kiocb
sock: 指向要执行发送操作的套接字结构体
msg: 指向存储要发送数据的消息头结构体 msghdr
size: 要发送的数据大小
*/
static inline int __sock_sendmsg_nosec(struct kiocb *iocb, struct socket *sock,
struct msghdr *msg, size_t size)
{
...
return sock->ops->sendmsg(iocb, sock, msg, size);
}
这时候内核会去找 socket 上对应的具体协议发送函数
以 TCP 为例，具体协议发送函数为 tcp_sendmsg
tcp_sendmsg 会去申请一个内核态内存 skb（sk_buff） ，然后挂到发送队列上（发送队列是由 skb 组成的一个链表）
接着把用户待发送的数据拷贝到 skb 中，拷贝之后会触发【发送】操作
这里说的发送是指在当前上下文中，待发送数据从 socket 层发送到传输层
需要注意的是，这时候不一定开始真正发送，因为还要进行一些条件判断（比如说发送队列中的数据已经超过了窗口大小的一半）
只有满足了条件才能够发送，如果没有满足条件这次系统调用就可能直接返回了
接着数据来到了传输层
传输层主要看 tcp_write_xmit 函数，这个函数处理了传输层的拥塞控制、滑动窗口相关的工作
该函数会根据发送窗口和最大段大小等因素计算出本次发送的数据大小，然后将数据封装成 TCP 段并发送出去
如果满足窗口要求，设置 TCP 头然后将数据传到更低的网络层进行处理
在传输层中，内核主要做了两件事：
为什么要复制一份出来呢？因为网卡发送完成之后，skb 会被释放掉，但 TCP 协议是支持丢失重传的
所以在收到对方的 ACK 之前必须要备份一个 skb 去为重传做准备
实际上一开始发送的是 skb 的拷贝版，收到了对方的 ACK 之后系统才会把真正的 skb 删除掉
系统会根据实际情况添加 TCP 头封装成 TCP 段
这里需要知道的是：每个 skb 内部包含了网络协议中的所有头部信息，例如 MAC 头、IP 头、TCP/UDP 头等
在设置这些头部时，内核会通过调整指针的位置来填充相应的字段，而不是频繁申请和拷贝内存
比如说在设置 TCP 头的时候，只是把指针指向 skb 的合适位置。后面再设置 IP 头的时候，在把指针挪一挪就行
这种方式利用了 skb 数据结构的链表特性可以避免内存分配和数据拷贝所带来的性能开销，从而提高数据传输的效率
数据离开了传输层之后，就来到了网络层
网络层主要做下面的事情：
根据目标 IP 地址查找路由表，确定数据包的下一跳（ ip_queue_xmit 函数）
根据路由表查找的结果，设置 IP 头中的源和目标 IP 地址、TTL（生存时间）、IP 协议等字段
netfilter 是 Linux 内核中的一个框架，用于实现数据包的过滤和修改
在网络层，netfilter 可以用于对数据包进行过滤、NAT（网络地址转换）等操作
如果数据包的大小超过了 MTU（最大传输单元），需要将数据包进行切分成多个片段，以适应网络传输，每个片段会被封装成单独的 skb
当数据来到了数据链路层之后，会有两个子系统协同工作，确保数据包在发送和接收过程中能够正确地对数据进行封装、解析和传输
管理和维护主机或路由器与其它设备之间的邻居关系
邻居子系统里会发送 arp 请求找邻居，然后把邻居信息存在邻居缓存表里，用于存储目标主机的 MAC 地址
当需要发送数据包到某个目标主机时，数据链路层会首先查询邻居缓存表，以获取目标主机的 MAC 地址，从而正确地封装数据包（封装 MAC 头）
网络设备子系统负责处理与物理网络接口相关的操作，包括数据包的封装和发送，以及从物理接口接收数据包并进行解析
网络设备子系统不但处理数据包的格式转换，如在以太网中添加帧头和帧尾，以及从帧中提取数据
还负责处理硬件相关的操作，如发送和接收数据包的时钟同步、物理层错误检测等
接着网络设备子系统会选择一个合适的网卡发送队列并把 skb 添加到队列中（绕过软中断处理程序）
然后，内核会调用网卡驱动的入口函数 dev_hard_start_xmit 来触发数据包的发送
在一些情况下，邻居子系统还会将 skb 数据包添加到软中断队列（softnet_data）上，并触发软中断（NET_TX_SOFTIRQ）
这个过程是为了将 skb 数据包交给软中断处理程序进行进一步处理和发送。软中断处理程序会负责实际的数据包发送
这就是为什么一般服务器上查看 /proc/softirqs，一般 NET_RX 都要比 NET_TX 大的多的原因之一
即对于收包来说，都是要经过 NET_RX 软中断；而对于发包来说，只有某些情况下才触发 NET_TX 软中断
驱动程序从发送队列中读取 skb 的描述信息，将其挂到 RingBuffer 上（前面提到的igb_tx_buffer 数组）
接着将 skb 的描述信息映射到网卡可访问的内存 DMA 区域中（前面提到的e1000_adv_tx_desc 数组）
网卡会直接从 e1000_adv_tx_desc 数组中根据描述信息读取实际数据并将数据发送到网络。这样就完成了数据包的发送过程
当数据发送完成后，网卡设备会触发一个硬件中断（NET_RX_SOFTIRQ），这个硬中断通常称为“发送完成中断”或者“发送队列清理中断”
这个硬中断的主要作用是执行发送完成的清理工作，包括释放之前为数据包分配的内存，即释放 skb 内存和 RingBuffer 内存
最后，当收到这个 TCP 报文的 ACK 应答时，传输层就会释放原始的 skb（前面有讲到发送的其实是 skb 的拷贝版）
可以看到，当数据发送完成以后，通过硬中断的方式来通知驱动发送完毕，而这个中断类型是
NET_RX_SOFTIRQ前面我们讲到过网卡收到一个网络包的时候，会触发
NET_RX_SOFTIRQ中断去告诉 CPU 有数据要处理也就是说，无论是网卡接收一个网络包还是发送网络包结束之后，触发的都是
NET_RX_SOFTIRQ
最后总结一下在 Linux 系统中发送网络数据包的流程：
