【转帖】网卡bonding模式 - bond0、1、4配置

网卡bonding简介

网卡绑定就是把多张物理网卡通过软件虚拟成一个虚拟的网卡，配置完毕后，所有的物理网卡的ip和mac将会变成相同的。多网卡同时工作可以提高网络速度，还可以实现网卡的负载均衡、冗余。

bonding模式

1 round-robin(mode=0)

轮转策略，轮流在每一个slave网卡上发送数据包，提供负载均衡和容错能力。

2 active-backup(mode=1)

主备策略，只有一个slave被激活，只有当active的slave的接口down时，才会激活其它slave接口。主备模式下发生一次故障切换，在新激活的slave接口上会发送一个或者多个gratuitous ARP。主salve接口上以及配置在接口上的所有VLAN接口都会发送gratuitous ARP，需要在这些接口上配置了至少一个IP地址。VLAN接口上发送的的gratuitous ARP将会附上适当的VLAN id。本模式提供容错能力。

3 XOR(mode=2)

基于所选择的hash策略，本模式也提供负载均衡和容错能力。

4 broadcast(mode=3)

广播策略，向所有的slave接口发送数据包，本模式提供容错能力。

5 802.3ad(mode=4)

动态链路聚合，根据802.3ad标准利用所有的slave建立聚合链路。slave接口的出口取决于传输的hash策略，默认策略是简单的XOR策略，而hash策略则可以通xmit_hash_policy选项配置。

前提：每个slave网卡支持ethtool获取速率和双工状态

交换机支持IEEE 802.3ad标准(可能需要配置启用)

IEEE 802.3ad 是执行链路聚合的标准方法。将多个以太网适配器聚集到单独的虚拟适配器方面与“以太通道（EtherChannel）”的功能相同，能提供更高的带宽防止发生故障。例如，eth0 和 eth1 可以聚集到称作 eth3 的 IEEE 802.3ad链路聚合；然后用 IP 地址配置接口 eth3。系统将这些聚集的适配器作为一个适配器来考虑。因此，可以像在任何以太网适配器上一样配置它们的 IP。

6 balance-tlb(mode=5)

自适应传输负载均衡：根据每个slave的负载(相对速度)决定从哪个接口发送数据包，从当前接口接收数据包。如果接收的slave接口故障，其它slave接口将接管它的mac地址继续接收。

前提：每个slave网卡支持ethtool获取速率。

7 balance-alb(mode=6)

自适应负载均衡：

前提：每个slave网卡支持ethtool获取速率

每个slave网卡支持启用时重新设置硬件地址

小结：

　　mode 1、5、6不需要交换机设置

　　mode 0、2、3、4需要交换机设置

缺省使用mode 0

bonding驱动加载


cat /boot/config-2.6.32-431.el6.x86_64 | grep -i bonding  
CONFIG_BONDING=m          # 这里可以看出bonding驱动编译成可以动态加载的内核模块
[root@compute1 ~]# vim /etc/modprobe.d/bond.conf   # 开机自动加载bonding驱动
alias bond0 bonding
options bond0 miimon=100 mode=0   # miimon：多长时间检查一次网络，单位ms;

bonding模式0配置


vim /etc/sysconfig/network-scripts/ifcfg-bond0 # 建立虚拟网卡bond0 DEVICE=bond0 IPADDR=10.10.10.1 
NETMASK=255.255.255.0
ONBOOT=yes
BOOTPROTO=none 
USERCTL=no 
GATEWAY=10.10.10.254 
 
vim /etc/sysconfig/network-scripts/ifcfg-eth0 
DEVICE=eth0 
BOOTPROTO=none 
ONBOOT=yes 
USERCTL=no 
MASTER=bond0 
SLAVE=yes 
 
vim /etc/sysconfig/network-scripts/ifcfg-eth1 
DEVICE=eth1 
BOOTPROTO=none 
ONBOOT=yes 
USERCTL=no 
MASTER=bond0 
SLAVE=yes # 设置完成后，重启网络服务来使用bond0生效 
 
service network restart # bond模块会自动加载
cat /proc/net/bonding/bond0 # 查看目前bonding的状态 
modprobe -r bonding;service network restart # 让bond模式生效

bonding模式1配置

具体操作步骤就下面这步不同，其它一致。


vim /etc/modprobe.d/bond.conf   
alias bond0 bonding
options bond0 miimon=100 mode=1    # 模式1
 
vim /etc/rc.d/rc.local   # eth0 eth1的工作顺序(仅在主备模式下需要做这个设置，其他的模式不需要做这个设置)
ifenslave bond0 eth0 eth1

注：在高可用的环境下，网卡配置bonding后，vip_nic要为bond0

bonding模式4配置


#  具体操作步骤就下面这步不同，其它一致。
vim /etc/modprobe.d/bond.conf   
alias bond0 bonding
options bond0 miimon=100 mode=4 lacp_rate=1    # 模式4

注意的是：交换机和服务器连接的那块要配置动态的channel-group （需要配置交换机的动态链路聚合）

bond4下启动vlan子接口

实例：未配置VLAN的mode4的网卡配置文件


# cat ifcfg-eth2
DEVICE=eth2
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
MASTER=bond0
SLAVE=yes
 
# cat ifcfg-eth3
DEVICE=eth3
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
MASTER=bond0
SLAVE=yes
 
# cat ifcfg-bond0
DEVICE=bond0
TYPE=Ethernet
BOOTPROTO=static
ONBOOT=yes
IPADDR=10.20.42.3
NETMASK=255.255.255.0
GATEWAY=10.20.42.254
 
# cat /etc/modprobe.d/bonding.conf 
alias bond0 bonding
options bond0 miimon=100 mode=4

实例：配置了VLAN-tag的网卡bond文件


[root@sz02 network-scripts]# cat ifcfg-eth0 
DEVICE=eth0
IPV6INIT=no
MTU=1500
NM_CONTROLLED=no
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
BOOTPROTO=none
 
[root@sz02 network-scripts]# cat ifcfg-eth1 
DEVICE=eth1
IPV6INIT=no
MTU=1500
NM_CONTROLLED=no
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
BOOTPROTO=none
 
[root@sz02 network-scripts]# cat ifcfg-bond0
DEVICE=bond0
ONBOOT=yes
TYPE=Ethernet
BOOTPROTO=none
BONDING_OPTS='mode=4 miimon=100'
 
[root@sz02 network-scripts]# cat ifcfg-bond0.101      # 此时的VLAN 的tag就是 101
DEVICE=bond0.101
ONBOOT=yes
TYPE=Ethernet
BOOTPROTO=none
IPADDR=10.101.1.7
NETMASK=255.255.255.0
VLAN=yes
GATEWAY=10.101.1.254
 
[root@sz02 network-scripts]# cat /etc/modprobe.d/bond.conf   #  开机时加载bond模块
alias bond0 bonding
 
[root@sz02 network-scripts]# lsmod |grep 8021q         # 打了VLAN的，机器必需具备8021q模块才可以配通IP
8021q                  20362  0 
garp                    7152  1 8021q

VLAN是虚拟局域网的缩写。一个物理交换机上可以共存多个VLAN，这些交换机通过Linux软件配置，而不是通过硬件接口（您仍然需要配置实际的硬件交换机）。

VLAN作为名称建议一次组合多个LAN。但是，VLAN的优点是什么？
—高性能.
—易于管理.
—安全.

为了安全起见，VLAN为提供了划分LAN的能力。
当将服务器计算机物理移动到另一个位置时，您不必配置任何硬件设备。

关于LAN硬件的注意事项
1.为了能够使用VLAN，需要在以太网上支持IEEE 802.1q标准的交换机。
2.还需要一个与Linux兼容的NIC（网络接口卡），并支持802.1q标准。


# 永久加载8021q module
 
cat > /etc/sysconfig/modules/8021q.modules << EOF
\#\!/bin/sh
if [ ! `lsmod | grep 8021q` ] ; then
        exec /sbin/modprobe 8021q >/dev/null 2>&1
fi
EOF

复制代码

modprobe 8021q # 加载模块

vim /etc/sysconfig/network-scripts/ifcfg-bond0.110 # vlan子接口，发出去的包是带有vlan tag 110的

DEVICE=bond0.110 # vlan子接口要“.”分隔

BOOTPROTO=none

ONBOOT=yes

USERCTL=no

VLAN=yes # 写配置文件，就不要安装vconfig来配置vlan子接口

IPADDR=192.168.110.3

PREFIX=24

bond4结合OpenStack ovs flat vlan模式

1、采用linux bridge

brctl addbr br-bond

brctl addif br-bond bond0

ifconfig br-bond 192.168.1.4/24 # 这样配置是可以通的

2、采用openvswitch

ovs-vsctl add-br br-bond

ovs-vsctl add-port br-bond bond0

ifconfig br-bond 192.168.1.4/24 # 这样配置是不通的

如果进行如下操作，网络是可以通的

brctl addbr br-bond

brctl addif br-bond bond0

ifconfig br-bond 192.168.1.4/24 # 管理ip地址配置linux bridge上，不是配置在br-data上

ovs-vsctl add-br br-data # 创建一个br-data

ovs-vsctl add-port br-data br-bond # br-bond作为ovs bridge的一个port，不然计算节点下的虚拟机网络不通

[root@sha-cloud002 ~]# cat /etc/sysconfig/network-scripts/ifcfg-br-bond # br-data配置文件如下

DEVICE=br-bond

IPADDR=10.10.10.12

NETMASK=255.255.255.0

ONBOOT=yes

NM_CONTROLLED="no"

BOOTPROTO=none

TYPE=Bridge

DELAY=0 # prevent it waiting on interface start

# 这里需要注意一下，如果是hp刀片服务器，网卡做bond后划vlan子接口才能

和上端交换机通信。这时候配置需要调整下

ovs-vsctl add-port br-data eth0.470（举例vlan id:470）

ovs-vsctl set Port eth0.470 tag=470(打了tag后相当于access口，access口出去的包是不带vlan id的)

虽然上述操作也可以，但让人觉得怪怪的，下面是OVS下设置lacp的正确方式

按照红帽官网的建议是不要使用基于ovs的lacp，可以考虑使用balance-slb

详情见：https://access.redhat.com/documentation/en/red-hat-openstack-platform/8/networking-guide/chapter-2-openstack-networking-concepts

关于bond模式下网桥配置可以参考红帽的官方文档：https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Deployment_Guide/s2-networkscripts-interfaces_network-bridge.html

</article>