[转帖]Linux流控框架:TC和Netfilter

linux,框架,tc,netfilter · 浏览次数 : 0

小编点评

## Netfilter 和 TC 的相同点: * 都用于数据包过滤和流量控制。 * 都基于队列和链表等数据结构实现。 * 都支持接收、丢弃、排队、导入等各种操作。 * 都可以实现流量整形等功能。 ## Netfilter 和 TC 的关键区别: * **目标**: Netfilter 关注如何执行操作,而 TC 关注如何组织执行操作。 * **目标**: Netfilter 对各种操作提供单个结果,而 TC 对每个操作都执行一系列动作。 * **方法**: Netfilter 通过 HOOK 来实现操作,而 TC 通过队列等数据结构来实现操作。 * **结果**: Netfilter 提供一些全局性的结果,而 TC 提供每个操作的结果。 ## TC 的队列组织方式: * TC 使用队列来实现随机访问的数据包存储缓冲区。 * 队列的长度取决于队列的实际使用情况。 * 当数据包进入队列时,会将其存放在队列中。 * 当队列满时,会丢弃最老的队列元素。 * 当数据包从队列中取出时,会从队列中取出元素并处理。 ## 总结: Netfilter 和 TC 都是用于数据包过滤和流量控制的框架,但他们在目标、方法和结果等方面存在着显著的差异。TC 的队列组织方式可以弥补Netfilter在某些方面不足的不足,但仍然比Netfilter更复杂。

正文

https://www.jianshu.com/p/de30bac5b893

 

Linux内核内置了一个Traffic Control框架,可以实现流量限速,流量整形,策略应用(丢弃,NAT等)。从这个框架你能想到别的什么吗?或许现在不能,但是我会先简单说一下,和TC框架比较相似的是Netfilter框架,但是二者却又有很大的不同。

在精通了Netfilter框架之后,再来体会TC框架会简单得多,特别是,当你觉得Netfilter具有这样那样的局限时,带着这些问题去体会TC框架的设计,你可能会发现,TC在某些方面弥补了Netfilter的不足。在具体深入到细节前,我先来介绍一下二者的相同点以及因其初衷不同而导致设计的大相径庭。

先说Netfilter,无疑这个框架被设计用来在网络协议栈的内核路径上过滤数据包,就像在一条路上的关卡一样,Netfilter在协议栈处理网络数据包的路径上的5个位置设置了这样的关卡,一个数据包在被处理的路径上经过这些关卡被检查,结果就是若干个动作:接受,丢弃,排队,导入其它路径等,框架只需针对一个数据包得出一个结果即可,关卡内部提供什么服务在Netfilter框架中并没有任何规定。

现在我们看TC,它旨在对数据包或者数据流提供一种服务,比如限速,整形等,而这并不是一个类似Netfilter的结果可以表达的,提供这些服务需要执行一系列的动作,因此如何来“规划和组织这些动作的执行”是TC框架设计的关键!也就是说,TC框架关注的是如何执行而不是仅仅想要得到一个要执行的动作。换句话说,Netfilter框架关注做什么,而TC框架关注怎么做。

有关限速,流量整形方面的理论已经很多了,比较常见的比如使用令牌桶,但是本文关注的是Linux对TC框架的实现而不是令牌桶算法相关的内容,然而在一篇短文中又不可能详细描述从流量控制理论到各种操作系统版本实现的历史,但是我们知道,使用队列是大多数实现中实际的选择,那么现在问题来了,Linux的TC框架是如何组织队列的。在详细深入讨论队列组织之前,我最后一次比较一下Netfilter和TC。

如果你知道UNIX的字符设备和块设备之间的区别,那么理解Netfilter框架和TC框架之间的区别就比较容易了。Netfilter的一个HOOK点类似一个管道字符设备,而skb就是这个设备中的单向字符流,一般都是按照从一端流入,然后按照进入的顺序从另一端流出,附带一个结果,比如ACCEPT,DROP等。而TC框架比较类似一个块设备,对内容进行随机存储和随机访问,即skb进入的顺序并不一定是skb出来的顺序,而这正是流量整形需要做的。也就是说,TC框架必须实现一个随机访问的数据包存储缓冲区,在这个缓冲区中进行流量控制,当然,我们已经知道,这是由队列实现的。

当然,任何事情都不是绝对的,Netfilter的一个HOOK点也可以有存储缓冲区或者执行一系列的动作,典型的就是conntrack中的分片重组以及NAT功能,对于PREROUTING这个HOOK点的分片重组,无疑对于分片而言,只是进入HOOK,暂时保存在里面,直到所有分片都来了切重组成功后才一次性流出这个HOOK点,而对于NAT而言,Netfilter的处理结果无疑是“执行了一系列的动作”而不仅仅是ACCEPT。此外,我也写过一些模块,用Netfilter来实现流量控制,反过来,TC框架也可以实现Netfilter的功能,总之,当你理解了这些框架的设计原则以及其本质后,在使用和扩展上,你就可以庖丁解牛,游刃有余了。

与[转帖]Linux流控框架:TC和Netfilter相似的内容:

[转帖]Linux流控框架:TC和Netfilter

https://www.jianshu.com/p/de30bac5b893 Linux内核内置了一个Traffic Control框架,可以实现流量限速,流量整形,策略应用(丢弃,NAT等)。从这个框架你能想到别的什么吗?或许现在不能,但是我会先简单说一下,和TC框架比较相似的是Netfilter

[转帖]linux学习:sed与awk与tr用法整理

https://www.cnblogs.com/LO-gin/p/6882490.html 流编辑器:sed 语法:sed [-hnV][-e

[转帖]Linux内核线程kthread简介【最好的一篇!】

https://zhuanlan.zhihu.com/p/581587583 Linux内核可以看作一个服务进程(管理软硬件资源,响应用户进程的种种合理以及不合理的请求)。内核需要多个执行流并行,为了防止可能的阻塞,支持多线程是必要的。内核线程就是内核的分身,一个分身可以处理一件特定事情。内核线程的

[转帖]扩展Linux网络栈

https://www.cnblogs.com/charlieroro/p/14047183.html 感觉自己见识短浅了.. 来自Linux内核文档。之前看过这篇文章,一直好奇,问什么一条网络流会固定在一个CPU上进行处理,本文档可以解决这个疑问。为了更好地理解本文章中的功能,将这篇文章穿插入内。

[转帖]如何使用 sed 命令删除文件中的行

https://zhuanlan.zhihu.com/p/80212245 sed 命令是 Linux 中的重要命令之一,在文件处理方面有着重要作用。可用于删除或移动与给定模式匹配的特定行。-- Magesh Maruthamuthu(作者) Sed 代表 流编辑器(Stream Editor),常

[转帖]Linux 磁盘I/O 调度算法 说明

2022-08-23 13:031361转载Linux 1 Linux 4.0 IO协议栈框架图 I/O 调度算法在各个进程竞争磁盘I/O的时候担当了裁判的角色。他要求请求的次序和时机做最优化的处理,以求得尽可能最好的整体I/O性能。 Linux 4.0 IO协议栈框架图 I/O调度程序的总结 当向

[转帖]Linux中常见IO调度器

https://www.jianshu.com/p/3c16e39a005a 单队列调度算法多队列调度算法 deadline mqdeadlines cfq bfq noop none kyber 对于磁盘I/O,Linux提供了cfq, deadline和noop三种调度策略 cfq: 这个名字是

[转帖]Linux 平台使用shc 工具加密shell 脚本

2021-08-03 20:4510030原创Linux 本文链接:https://www.cndba.cn/dave/article/4642 1 shc 工具说明 shell 脚本是常用脚本,运维中经常使用,但有时候在shell 脚本中会包含一些敏感的信息,比如密码或者特殊的参数,此时我们就可以

[转帖]Linux系统多网卡环境下的路由配置

https://www.cnblogs.com/connect/p/linux-static-route.html Linux下路由配置命令 1. 添加主机路由 route add -host 192.168.1.11 dev eth0 route add -host 192.168.1.12 gw

[转帖]linux命令行下如何格式化json并进行各种json处理操作

https://blog.csdn.net/penriver/article/details/122016563 有时需要在linux 的命令行下,需要查看json的内容或针对json进行各种操作,本文针对此进行梳理、总结。 在Linux系统下基于python json.tool可以格式化json,