[转帖]网卡bonding模式 - bond0、1、4配置

网卡,bonding,模式,bond0,配置 · 浏览次数 : 0

小编点评

## 永久加载 8021q 模块 以下是使用 `modprobe` 命令加载 `8021q` 模块的步骤: 1. **编辑 `/etc/sysconfig/modules/8021q.modules` 文件**,添加以下内容: ``` /sbin/modprobe 8021q >/dev/null 2>&1fi ``` 2. **保存并加载配置文件**: ```bash sudo nano /etc/sysconfig/modules/8021q.modules ``` 3. **重启系统**: ```bash sudo systemctl restart ``` 4. 验证 `8021q` 模块是否加载成功: ```bash lsmod | grep 8021q ``` 5. **运行其他命令**: ```bash vim /etc/sysconfig/network-scripts/ifcfg-bond0.110 ``` **其他设置:** * 修改 `ifcfg-bond0.110` 中的 `BOOTPROTO` 设置,使其只在 `br-bond` 中进行 IP 地址配置。 * 使用 `openvswitch` 或 `linux bridge` 等工具设置 VLAN。 * 在 `br-data` 配置中设置 `port` 属性,指定端口号和 VLAN ID。

正文

网卡bonding简介

网卡绑定就是把多张物理网卡通过软件虚拟成一个虚拟的网卡,配置完毕后,所有的物理网卡的ip和mac将会变成相同的。多网卡同时工作可以提高网络速度,还可以实现网卡的负载均衡、冗余。

 

bonding模式

1    round-robin(mode=0)

轮转策略,轮流在每一个slave网卡上发送数据包,提供负载均衡和容错能力。   

2    active-backup(mode=1)

主备策略,只有一个slave被激活,只有当active的slave的接口down时,才会激活其它slave接口。主备模式下发生一次故障切换,在新激活的slave接口上会发送一个或者多个gratuitous ARP。主salve接口上以及配置在接口上的所有VLAN接口都会发送gratuitous ARP,需要在这些接口上配置了至少一个IP地址。VLAN接口上发送的的gratuitous ARP将会附上适当的VLAN id。本模式提供容错能力。

3    XOR(mode=2)

基于所选择的hash策略,本模式也提供负载均衡和容错能力。

4    broadcast(mode=3)

广播策略,向所有的slave接口发送数据包,本模式提供容错能力。

5    802.3ad(mode=4)

动态链路聚合,根据802.3ad标准利用所有的slave建立聚合链路。slave接口的出口取决于传输的hash策略,默认策略是简单的XOR策略,而hash策略则可以通xmit_hash_policy选项配置。

前提:每个slave网卡支持ethtool获取速率和双工状态

         交换机支持IEEE 802.3ad标准(可能需要配置启用)

     IEEE 802.3ad 是执行链路聚合的标准方法。将多个以太网适配器聚集到单独的虚拟适配器方面与“以太通道(EtherChannel)”的功能相同,能提供更高的带宽防止发生故障。例如,eth0 和 eth1 可以聚集到称作 eth3 的 IEEE 802.3ad链路聚合;然后用 IP 地址配置接口 eth3。系统将这些聚集的适配器作为一个适配器来考虑。因此,可以像在任何以太网适配器上一样配置它们的 IP。

6    balance-tlb(mode=5)

自适应传输负载均衡:根据每个slave的负载(相对速度)决定从哪个接口发送数据包,从当前接口接收数据包。如果接收的slave接口故障,其它slave接口将接管它的mac地址继续接收。

前提:每个slave网卡支持ethtool获取速率。

7    balance-alb(mode=6)

自适应负载均衡:

前提:每个slave网卡支持ethtool获取速率

          每个slave网卡支持启用时重新设置硬件地址

小结:

  mode 1、5、6不需要交换机设置

  mode 0、2、3、4需要交换机设置

缺省使用mode 0

bonding驱动加载

  1. cat /boot/config-2.6.32-431.el6.x86_64 | grep -i bonding
  2. CONFIG_BONDING=m # 这里可以看出bonding驱动编译成可以动态加载的内核模块
  3. [root@compute1 ~]# vim /etc/modprobe.d/bond.conf # 开机自动加载bonding驱动
  4. alias bond0 bonding
  5. options bond0 miimon=100 mode=0 # miimon:多长时间检查一次网络,单位ms;

bonding模式0配置

  1. vim /etc/sysconfig/network-scripts/ifcfg-bond0 # 建立虚拟网卡bond0 DEVICE=bond0 IPADDR=10.10.10.1
  2. NETMASK=255.255.255.0
  3. ONBOOT=yes
  4. BOOTPROTO=none
  5. USERCTL=no
  6. GATEWAY=10.10.10.254
  7. vim /etc/sysconfig/network-scripts/ifcfg-eth0
  8. DEVICE=eth0
  9. BOOTPROTO=none
  10. ONBOOT=yes
  11. USERCTL=no
  12. MASTER=bond0
  13. SLAVE=yes
  14. vim /etc/sysconfig/network-scripts/ifcfg-eth1
  15. DEVICE=eth1
  16. BOOTPROTO=none
  17. ONBOOT=yes
  18. USERCTL=no
  19. MASTER=bond0
  20. SLAVE=yes # 设置完成后,重启网络服务来使用bond0生效
  21. service network restart # bond模块会自动加载
  22. cat /proc/net/bonding/bond0 # 查看目前bonding的状态
  23. modprobe -r bonding;service network restart # 让bond模式生效

 

 bonding模式1配置

 

具体操作步骤就下面这步不同,其它一致。
  1. vim /etc/modprobe.d/bond.conf
  2. alias bond0 bonding
  3. options bond0 miimon=100 mode=1 # 模式1
  4. vim /etc/rc.d/rc.local # eth0 eth1的工作顺序(仅在主备模式下需要做这个设置,其他的模式不需要做这个设置)
  5. ifenslave bond0 eth0 eth1
注:在高可用的环境下,网卡配置bonding后,vip_nic要为bond0

 

bonding模式4配置

 

  1. # 具体操作步骤就下面这步不同,其它一致。
  2. vim /etc/modprobe.d/bond.conf
  3. alias bond0 bonding
  4. options bond0 miimon=100 mode=4 lacp_rate=1 # 模式4
注意的是:交换机和服务器连接的那块要配置动态的channel-group (需要配置交换机的动态链路聚合)

bond4下启动vlan子接口

 

实例:未配置VLAN的mode4的网卡配置文件
  1. # cat ifcfg-eth2
  2. DEVICE=eth2
  3. TYPE=Ethernet
  4. ONBOOT=yes
  5. NM_CONTROLLED=no
  6. BOOTPROTO=static
  7. MASTER=bond0
  8. SLAVE=yes
  9. # cat ifcfg-eth3
  10. DEVICE=eth3
  11. TYPE=Ethernet
  12. ONBOOT=yes
  13. NM_CONTROLLED=no
  14. BOOTPROTO=static
  15. MASTER=bond0
  16. SLAVE=yes
  17. # cat ifcfg-bond0
  18. DEVICE=bond0
  19. TYPE=Ethernet
  20. BOOTPROTO=static
  21. ONBOOT=yes
  22. IPADDR=10.20.42.3
  23. NETMASK=255.255.255.0
  24. GATEWAY=10.20.42.254
  25. # cat /etc/modprobe.d/bonding.conf
  26. alias bond0 bonding
  27. options bond0 miimon=100 mode=4

 

 

实例:配置了VLAN-tag的网卡bond文件
  1. [root@sz02 network-scripts]# cat ifcfg-eth0
  2. DEVICE=eth0
  3. IPV6INIT=no
  4. MTU=1500
  5. NM_CONTROLLED=no
  6. ONBOOT=yes
  7. MASTER=bond0
  8. SLAVE=yes
  9. USERCTL=no
  10. BOOTPROTO=none
  11. [root@sz02 network-scripts]# cat ifcfg-eth1
  12. DEVICE=eth1
  13. IPV6INIT=no
  14. MTU=1500
  15. NM_CONTROLLED=no
  16. ONBOOT=yes
  17. MASTER=bond0
  18. SLAVE=yes
  19. USERCTL=no
  20. BOOTPROTO=none
  21. [root@sz02 network-scripts]# cat ifcfg-bond0
  22. DEVICE=bond0
  23. ONBOOT=yes
  24. TYPE=Ethernet
  25. BOOTPROTO=none
  26. BONDING_OPTS='mode=4 miimon=100'
  27. [root@sz02 network-scripts]# cat ifcfg-bond0.101 # 此时的VLAN 的tag就是 101
  28. DEVICE=bond0.101
  29. ONBOOT=yes
  30. TYPE=Ethernet
  31. BOOTPROTO=none
  32. IPADDR=10.101.1.7
  33. NETMASK=255.255.255.0
  34. VLAN=yes
  35. GATEWAY=10.101.1.254
  36. [root@sz02 network-scripts]# cat /etc/modprobe.d/bond.conf # 开机时加载bond模块
  37. alias bond0 bonding
  38. [root@sz02 network-scripts]# lsmod |grep 8021q # 打了VLAN的,机器必需具备8021q模块才可以配通IP
  39. 8021q 20362 0
  40. garp 7152 1 8021q

 

 

VLAN是虚拟局域网的缩写。 一个物理交换机上可以共存多个VLAN,这些交换机通过Linux软件配置,而不是通过硬件接口(您仍然需要配置实际的硬件交换机)。

VLAN作为名称建议一次组合多个LAN。 但是,VLAN的优点是什么?
—高性能.
—易于管理.
—安全.

为了安全起见,VLAN为提供了划分LAN的能力。
当将服务器计算机物理移动到另一个位置时,您不必配置任何硬件设备。

关于LAN硬件的注意事项
1.为了能够使用VLAN,需要在以太网上支持IEEE 802.1q标准的交换机。
2.还需要一个与Linux兼容的NIC(网络接口卡),并支持802.1q标准。

  1. # 永久加载8021q module
  2. cat > /etc/sysconfig/modules/8021q.modules << EOF
  3. \#\!/bin/sh
  4. if [ ! `lsmod | grep 8021q` ] ; then
  5. exec /sbin/modprobe 8021q >/dev/null 2>&1
  6. fi
  7. EOF

复制代码

1

2

3

4

5

6

7

8

9

modprobe 8021q # 加载模块

vim  /etc/sysconfig/network-scripts/ifcfg-bond0.110  # vlan子接口,发出去的包是带有vlan tag 110的

DEVICE=bond0.110          # vlan子接口要“.”分隔

BOOTPROTO=none

ONBOOT=yes

USERCTL=no

VLAN=yes                  # 写配置文件,就不要安装vconfig来配置vlan子接口

IPADDR=192.168.110.3

PREFIX=24

 

bond4结合OpenStack ovs flat vlan模式

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

1、 采用linux bridge

    brctl addbr br-bond

    brctl addif br-bond bond0

    ifconfig br-bond 192.168.1.4/24   # 这样配置是可以通的

     

2、 采用openvswitch

    ovs-vsctl add-br br-bond

    ovs-vsctl add-port br-bond bond0

    ifconfig br-bond 192.168.1.4/24   # 这样配置是不通的

     

    如果进行如下操作,网络是可以通的

    brctl addbr br-bond

    brctl addif br-bond bond0

    ifconfig br-bond 192.168.1.4/24  # 管理ip地址配置linux bridge上,不是配置在br-data上

     

    ovs-vsctl add-br br-data            # 创建一个br-data

    ovs-vsctl add-port br-data br-bond  # br-bond作为ovs bridge的一个port,不然计算节点下的虚拟机网络不通

     

    [root@sha-cloud002 ~]# cat /etc/sysconfig/network-scripts/ifcfg-br-bond  # br-data配置文件如下

    DEVICE=br-bond

    IPADDR=10.10.10.12

    NETMASK=255.255.255.0

    ONBOOT=yes

    NM_CONTROLLED="no"

    BOOTPROTO=none

    TYPE=Bridge

    DELAY=0  # prevent it waiting on interface start

     

# 这里需要注意一下,如果是hp刀片服务器,网卡做bond后划vlan子接口才能

和上端交换机通信。这时候配置需要调整下

    ovs-vsctl add-port br-data eth0.470(举例vlan id:470)

    ovs-vsctl set Port eth0.470 tag=470(打了tag后相当于access口,access口出去的包是不带vlan id的)

 

虽然上述操作也可以,但让人觉得怪怪的,下面是OVS下设置lacp的正确方式

wKiom1em5jfhrvoeAAG5B-u1s6s860.png

 

按照红帽官网的建议是不要使用基于ovs的lacp,可以考虑使用balance-slb

wKiom1em5zexXGCSAAFRafSr5-k832.png

详情见:https://access.redhat.com/documentation/en/red-hat-openstack-platform/8/networking-guide/chapter-2-openstack-networking-concepts

 关于bond模式下网桥配置可以参考红帽的官方文档:https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Deployment_Guide/s2-networkscripts-interfaces_network-bridge.html

与[转帖]网卡bonding模式 - bond0、1、4配置相似的内容:

[转帖]网卡bonding模式 - bond0、1、4配置

网卡bonding简介 网卡绑定就是把多张物理网卡通过软件虚拟成一个虚拟的网卡,配置完毕后,所有的物理网卡的ip和mac将会变成相同的。多网卡同时工作可以提高网络速度,还可以实现网卡的负载均衡、冗余。 bonding模式 1 round-robin(mode=0) 轮转策略,轮流在每一个slave网

【转帖】网卡bonding模式 - bond0、1、4配置

网卡bonding简介 网卡绑定就是把多张物理网卡通过软件虚拟成一个虚拟的网卡,配置完毕后,所有的物理网卡的ip和mac将会变成相同的。多网卡同时工作可以提高网络速度,还可以实现网卡的负载均衡、冗余。 bonding模式 1 round-robin(mode=0) 轮转策略,轮流在每一个slave网

[转帖]网卡虚拟化 Macvlan

网卡虚拟化 Macvlan https://www.jianshu.com/p/ffd9675f6f41 拓扑结构 image.png 交换机配置 # ip link add name br0 type bridge # ip link add name veth11 type veth peer

[转帖]网卡多队列:RPS、RFS、RSS、Flow Director(DPDK支持)

Table of Contents 多队列简介 RPS介绍(Receive Packet Steering) RFS介绍(Receive flow steering) RSS介绍(receive side scaling) DPDK多队列支持 RSS介绍(Receive-Side Scaling,接

[转帖]关于网卡特性TSO、UFO、GSO、LRO、GRO

2022-12-23 我们来看下关于网卡特性的解释,不过记住GSO和GRO两个特性就好。 TSO(TCP Segmentation Offload),是利用网卡对TCP数据包分片,减轻CPU负荷的一种技术,也有人叫 LSO (Large segment offload) ,TSO是针对TCP的,UF

【转帖】关于网卡特性TSO、UFO、GSO、LRO、GRO

https://www.cnblogs.com/larrypeng/p/12496810.html 我们来看下关于网卡特性的解释,不过记住GSO和GRO两个特性就好。 TSO(TCP Segmentation Offload),是利用网卡对TCP数据包分片,减轻CPU负荷的一种技术,也有人叫 LSO

[转帖]ESXi主机网卡识别为10Mb导致业务缓慢

某企业所有业务系统及应用运行在由5台安装了ESXi 6.0的服务器组成的虚拟化环境中,已经稳定运行了多年,基本上没有出过问题。 今天下午企业工程师联系我,说单位的业务系统访问很慢。在业务系统中PING网关的延时超过2ms,平常都是小于1ms。近期单位服务器与网络没有改动。 检查发现有台物理主机内存报

【转帖】【ethtool】ethtool 网卡诊断、调整工具、网卡性能优化| 解决丢包严重

目录 即看即用 详细信息 软件简介 安装 ethtool的使用 输出详解 其他指令 将 ethtool 设置永久保存 如何使用 ethtool 优化 Linux 虚拟机网卡性能 ethtool 解决网卡丢包严重和网卡原理 即看即用 查看: ethtool ethx 查看eth0网卡的基本设置 内容包

[转帖]win10多网卡指定ip走某个网卡的方案

https://zhuanlan.zhihu.com/p/571614314 我的电脑上有两个网卡,一个网卡A(网线),一个是网卡B(WIFI)。 需求:网卡A和网卡B是不同的网络,网卡A已经把3389端口屏蔽了,网卡B能访问3389端口。 我们需要使用网卡B访问特定3389端口的IP地址,网卡A访

[转帖]Linux系统多网卡环境下的路由配置

https://www.cnblogs.com/connect/p/linux-static-route.html Linux下路由配置命令 1. 添加主机路由 route add -host 192.168.1.11 dev eth0 route add -host 192.168.1.12 gw