【转帖】Linux多链路聚合技术

linux,链路,聚合,技术 · 浏览次数 : 0

小编点评

## 生成内容时带简单的排版 **1. 排版设备名** ```bash device_name=" storage controller " ``` **2. 排版多路径设备信息** ```bash multipath_device_info=" name = ${device_name} features = ${device_name} hwhandler = ${device_name} wp = ${device_name} prio = ${device_name} status = active " ``` **3. 排版多路径设备管理命令** ```bash multipath_manage_commands=" l ${multipath_device_info} f ${multipath_device_info} F ${multipath_device_info} delete ${multipath_device_info} " ``` **4. 排版其他命令** ```bash multipath_other_commands=" create ${multipath_device_info} delete ${multipath_device_info} show ${multipath_device_info} get ${multipath_device_info} list ${multipath_device_info} flush ${multipath_device_info} " ```

正文

https://www.jianshu.com/p/dd8587ecf54f

 

一般而言，在单体结构的操作系统中，一块物理磁盘会接在总线设备上，并经由总线分配 PCI-Bus 号，这个时候一个 bus 往往对应一个真实可见的设备。

但在多主机的集群环境中，多个主机之间使用交换机进行通信，多台存储服务器接在同一台(或多台)交换机上，此时通过同一台主机可能会看到来自存储上的多个物理设备，这些物理设备的路径各不相同，但对主机的操作系统来说，操作系统会将不同路径的设备设备看作是一块物理磁盘，区别仅仅是通向这个物理盘的路径不同而已。

但对操作系统来说很好辨认的路径，对于普通用户使用来讲可就不是那么回事了。事实上，对于普通用户来说，他们很难得知数据 I/O 活跃在哪条链路上。而使用 DM Multipath(Device-Mapper Multipath, 设备映射多路径) 则可以解决这个问题。

什么是 multipath

DM Multipath 是一种将服务器节点和存储阵列间的多个 I/O 路径配置为一个单一设备的技术。这些 I/O 设备是可包含「独立电缆」、 「交换器」、「控制器」的实体 SAN 链接。多路径集合了 I/O 路径，并生成由这些路径组成的新设备。

使用 multipath，不仅可以获得 链路上的冗余功能，而且可以充分发挥存储设备的性能。以下为 multipath 多路径的功能

  • 冗余：DM Multipath 提供两种配置模式 主动 和 被动，并可以在两种模式下切换用来实现故障转移。在两种模式下，只有一半的路径在每次进行 I/O时会被使用。若一条 I/O 路径的任一元素(电缆、交换器、控制器)出现故障后，multipath 将切换到另一条正常的路径上。
  • 性能提升：multipath 提供的两种配置模式，可以将 I/O 以轮循(round-robin) 的方式分布到所有的路径中。在某些配置中，multipath 能够检测 I/O 路径的负载，并重新动态平衡负载。
 
multipath-1.png

如图为，带两个RAID设备的主动/被动多路径配置，其中下面的是两个硬件RAID设备、中间为两台 SAN 交换机、最上面为一台 server 节点的主机。

每个RAID设备都有两个 I/O路径， 以RAID A 为例，两条链路分别为 RAID-A ---> SAN 1 ---> hba 1 和 RAID A ---> SAN 2 ---> hba 2。

倘若配置了 multipath多路径，当 RAID-A ---> SAN 1 ---> hba 1 路径发生故障时，multipath 会则将 I/O 切换到 RAID A ---> SAN 2 ---> hba 2 这条链路上。

multipath 相关组件

  • dm-multipath kernel：为路径和路径组重新指定 I/O 并进行故障转移。
  • mpathconf：配置并启用 DM Multipath。
  • multipath：列出并配置多路径设备，通常使用 /etc/rc.sysinit 启动，还可以在添加块设备时通过 udev 启动。
  • multipathd：multipath 守护进程，若出现故障路径、multipathd 可能会启动路径组切换。对 /etc/multipathd.conf 配置文件的任何修改，都需要重新启动 multipathd 服务。
  • kpartx：为设备分区生成设备映射器。kpartx 命令包含在自己的软件包中，但是 DM Multipath 软件包需要依赖它

安装&配置

在 Linux RedHat 系列中，multipath 的软件包默认已经安装，你可以通过 rpm -qa | grep device-mapper查看

[root@server ~]# rpm -qa | grep device-mapper
device-mapper-libs-1.02.170-6.el7_9.5.x86_64
device-mapper-event-1.02.170-6.el7_9.5.x86_64
device-mapper-multipath-libs-0.4.9-135.el7_9.x86_64
device-mapper-persistent-data-0.8.5-3.el7_9.2.x86_64
device-mapper-1.02.170-6.el7_9.5.x86_64
device-mapper-event-libs-1.02.170-6.el7_9.5.x86_64
device-mapper-multipath-0.4.9-135.el7_9.x86_64

倘若缺少 device-mapper-multipath-lib 和 device-mapper-multipath，使用yum install -y device-mapper device-mapper-multipath 安装即可。

安装之后，加载 device-mapper 相关的驱动

[root@server ~]# modprobe dm_multipath dm_round_robin
[root@server ~]# lsmod | grep dm
dm_round_robin         12819  0
dm_multipath           27792  1 dm_round_robin
dm_mirror              22326  0
dm_region_hash         20813  1 dm_mirror
dm_log                 18411  2 dm_region_hash,dm_mirror
dm_mod                124501  9 dm_multipath,dm_log,dm_mirror

启动 multipath 服务

(PS: 第一次启动服务会失败，是因为缺少multipath的配置文件)

[root@server ~]# systemctl start multipathd.service
[root@server ~]# systemctl status multipathd
● multipathd.service - Device-Mapper Multipath Device Controller
   Loaded: loaded (/usr/lib/systemd/system/multipathd.service; enabled; vendor preset: enabled)
   Active: inactive (dead)
Condition: start condition failed at 日 2021-11-28 02:13:45 EST; 2s ago
           ConditionPathExists=/etc/multipath.conf was not met

配置 multipath

配置 multipath 有两种方式，你可以使用 mpathconf 程序设置多路径，它可以创建多路径配置文件 /etc/multipathd.conf。

使用 mpathconf 配置时，有以下几种情况

  • 如果 /etc/multipath.conf 文件已存在， mpathconf 程序会编辑它
  • 如果 /etc/multipath.conf 文件不存在， mpathconf 程序会使用 /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf 作为初始文件
  • 如果 /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf 文件不存在， mpathconf 程序则会创建一个新的 /etc/multipath.conf 文件

如果不需要编辑 /etc/multipath.comf ，可以使用 mapthconf --enable --with_multipathd y 设置基本故障切换。

[root@server ~]# mpathconf --enable --with_multipathd y

如果需要编辑 /etc/multipath.comf ，可以使用 mpathconf --enable 设置基本的故障切换配置。

[root@server ~]# mpathconf --enable

以下将以编辑 /etc/multipath.conf 的方式来说明

[root@server ~]# cat /etc/multipath.conf
# This is a basic configuration file with some examples, for device mapper
# multipath.
#
# For a complete list of the default configuration values, run either
# multipath -t
# or
# multipathd show config
#
# For a list of configuration options with descriptions, see the multipath.conf
# man page

## By default, devices with vendor = "IBM" and product = "S/390.*" are
## blacklisted. To enable mulitpathing on these devies, uncomment the
## following lines.
#blacklist_exceptions {
#   device {
#       vendor  "IBM"
#       product "S/390.*"
#   }
#}

## Use user friendly names, instead of using WWIDs as names.
defaults {
    user_friendly_names yes
    find_multipaths yes
}
##
## Here is an example of how to configure some standard options.
##
#
#defaults {
#   polling_interval    10
#   path_selector       "round-robin 0"
#   path_grouping_policy    multibus
#   uid_attribute       ID_SERIAL
#   prio            alua
#   path_checker        readsector0
#   rr_min_io       100
#   max_fds         8192
#   rr_weight       priorities
#   failback        immediate
#   no_path_retry       fail
#   user_friendly_names yes
#}
##
## The wwid line in the following blacklist section is shown as an example
## of how to blacklist devices by wwid.  The 2 devnode lines are the
## compiled in default blacklist. If you want to blacklist entire types
## of devices, such as all scsi devices, you should use a devnode line.
## However, if you want to blacklist specific devices, you should use
## a wwid line.  Since there is no guarantee that a specific device will
## not change names on reboot (from /dev/sda to /dev/sdb for example)
## devnode lines are not recommended for blacklisting specific devices.
##
#blacklist {
#       wwid 26353900f02796769
#   devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
#   devnode "^hd[a-z]"
#}
#multipaths {
#   multipath {
#       wwid            3600508b4000156d700012000000b0000
#       alias           yellow
#       path_grouping_policy    multibus
#       path_selector       "round-robin 0"
#       failback        manual
#       rr_weight       priorities
#       no_path_retry       5
#   }
#   multipath {
#       wwid            1DEC_____321816758474
#       alias           red
#   }
#}
#devices {
#   device {
#       vendor          "COMPAQ  "
#       product         "HSV110 (C)COMPAQ"
#       path_grouping_policy    multibus
#       path_checker        readsector0
#       path_selector       "round-robin 0"
#       hardware_handler    "0"
#       failback        15
#       rr_weight       priorities
#       no_path_retry       queue
#   }
#   device {
#       vendor          "COMPAQ  "
#       product         "MSA1000         "
#       path_grouping_policy    multibus
#   }
#}

blacklist {
}

以上为使用 mpathconf --enbale 后默认生成的 /etc/multipath.conf 配置文件。其中

defaults {      # multipath 的常规配置
    #user_friendly_names yes
    find_multipaths yes
}
# user_friendly_names 表示使用 /dev/mapper/mpath{n} 类型的设备名称代替 WWID 类型的设备

blacklist {     # 不被视为多路径的具体设备列表, 例如，系统盘等
    wwid 26353900f02796769
    devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
    devnode "^hd[a-z]"
}

blacklist_exceptions {      # 根据 blacklist 部分中的参数列出不在黑名单中的设备
    device {
        vendor  "IBM"
        product "S/390.*"
    }
}

multipaths {        # 各个独立多路径设备的特性设备。如果在 default 和 devices 中配置了，则会被覆盖掉
    multipath {
        wwid            3600508b4000156d700012000000b0000
        alias           yellow
        path_grouping_policy    multibus
        path_selector       "round-robin 0"
        failback        manual
        rr_weight       priorities
        no_path_retry       5
    }
    multipath {
        wwid            1DEC_____321816758474
        alias           red
    }
}

devices {       # 各个存储控制器的设置。
    device {
        vendor          "COMPAQ  "
        product         "HSV110 (C)COMPAQ"
        path_grouping_policy    multibus
        path_checker        readsector0
        path_selector       "round-robin 0"
        hardware_handler    "0"
        failback        15
        rr_weight       priorities
        no_path_retry       queue
    }
    device {
        vendor          "COMPAQ  "
        product         "MSA1000         "
        path_grouping_policy    multibus
    }
}

编辑完成后，保存退出。

使用 systemctl start multipathd.service 重新启动 multipath 服务。

[root@server ~]# systemctl restart multipathd
[root@server ~]# systemctl status multipathd
● multipathd.service - Device-Mapper Multipath Device Controller
   Loaded: loaded (/usr/lib/systemd/system/multipathd.service; enabled; vendor preset: enabled)
   Active: active (running) since 日 2021-11-28 03:15:03 EST; 9s ago
  Process: 17887 ExecStart=/sbin/multipathd (code=exited, status=0/SUCCESS)
  Process: 17885 ExecStartPre=/sbin/multipath -A (code=exited, status=0/SUCCESS)
  Process: 17884 ExecStartPre=/sbin/modprobe dm-multipath (code=exited, status=0/SUCCESS)
 Main PID: 17890 (multipathd)
    Tasks: 6
   Memory: 1.6M
   CGroup: /system.slice/multipathd.service
           └─17890 /sbin/multipathd

注：当修改了 /etc/multipath.conf 文件后，一定要执行 systemctl reload multipathd.conf 重新加载服务。

通过 multipath -v2 查看生成的多路径盘符

[root@server ~]# multipath -v2
create: 3600a0b80001327510000009a436215ec undef 
size=12G features='0' hwhandler='0' wp=undef 
`-+- policy='round-robin 0' prio=1 status=undef
  |- 2:0:0:1 sdc 8:32 undef ready running 
  `- 3:0:0:1 sdg 8:96 undef ready running
create: 3600a0b80001327d800000070436216b3 undef 
size=12G features='0' hwhandler='0' wp=undef 
`-+- policy='round-robin 0' prio=1 status=undef
  |- 2:0:0:2 sdd 8:48 undef ready running 
  `- 3:0:0:2 sdg 8:112 undef ready running

create: 后面的 3600a0b80001327510000009a436215ec 即为创建的多路径设备，你可以在 /dev/mapper/ 路径下找到它们。

multipath 的管理及故障排除

使用 multipath -l 查看多路径设备

[root@server ~]# multipath -l
3600d0230000000000e13955cc3757800 dm-1 WINSYS,SF2372 size=269G features='0' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=1 status=active
| `- 6:0:0:0 sdb 8:16 active ready running
`-+- policy='round-robin 0' prio=1 status=enabled
  `- 7:0:0:0 sdf 8:80 active ready running

删除多路径设备

[root@server ~]# multipath -f 3600d0230000000000e13955cc3757800

删除所有的多路径设备

[root@server ~]# multipath -F

以上列出了3条 multipath 日常使用的命令，而这也是我日常使用最频繁的命令，其他的命令我也还在学习🤪。

最后

当你通过 multipath 创建了多路径设备后，你可以像使用普通设备那样使用它。创建分区、挂载文件系统、创建系统卷，具体的功能还需要你去探索。

linux 链路 聚合 技术

与【转帖】Linux多链路聚合技术相似的内容：

【转帖】Linux多链路聚合技术

https://www.jianshu.com/p/dd8587ecf54f 一般而言，在单体结构的操作系统中，一块物理磁盘会接在总线设备上，并经由总线分配 PCI-Bus 号，这个时候一个 bus 往往对应一个真实可见的设备。 但在多主机的集群环境中，多个主机之间使用交换机进行通信，多台存储服务器

linux 链路 聚合 技术
0
[转帖]Linux系统多网卡环境下的路由配置

https://www.cnblogs.com/connect/p/linux-static-route.html Linux下路由配置命令 1. 添加主机路由 route add -host 192.168.1.11 dev eth0 route add -host 192.168.1.12 gw

linux 系统 网卡 环境
0
[转帖]Linux中常见IO调度器

https://www.jianshu.com/p/3c16e39a005a 单队列调度算法多队列调度算法 deadline mqdeadlines cfq bfq noop none kyber 对于磁盘I/O，Linux提供了cfq, deadline和noop三种调度策略 cfq: 这个名字是

linux 常见 io 调度
0
[转帖]linux【监控】BCC – 用于Linux性能监视，网络和更多的动态跟踪工具

https://blog.51cto.com/ghostwritten/5344917 文章目录​ ​1. ubuntu安装bcc​​​ ​2. centos安装bcc​​​ ​3. cachestat 缓存统计​​​ ​4. cachetop 缓存命中​​​ ​5. filtop 跟踪内核中文件的

linux 监控 bcc 用于
0
[转帖]性能案例-Linux下解决time_wait连接过多（Linux内核优化）

一、性能测试的主要概念和计算公式 系统吞度量要素： 一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。 单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。 系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间

性能 案例 linux 解决
0
[转帖]linux内存分析工具pmap

👦博主介绍：程序员悟啦(乌拉~) ✍个人仓库：码云 🔊座右铭：“懒”对一个人的毁灭性有多大，早起的重要性就多大。 📚免责声明：文章由博主原创、部分文章整理于网络，仅供学习和知识分享 💬相遇是缘，既然来了就拎着小板凳🪑坐下来一起唠会儿👁‍🗨，如果在文中有所收获，请别忘了一键三连，动动你发

linux 内存 分析 工具
0
[转帖]Linux遇到一个内存过高的报警——释放buff/cache

前些天一直受到内存报警，过一段时间就会恢复。由于开发工作有些多，就一直没理它，但是最近几天开始有些频繁了。虽然不影响业务，但是天天报警，还是让人提心吊胆的。因此就抽了一个上午的时间去解决一下这个问题。 排查问题 这台机器安装的是mongodb，因为最近业务增加，内容使用增加是正常的，但是实际的占用内

linux 遇到 一个 内存
0
[转帖]《Linux性能优化实战》笔记（二）—— CPU 上下文切换（上）

上一篇的最后一个例子，在多个进程竞争CPU时，我们看到每个进程实际上%usr部分只有20%多，70%多是在wait，但是load远远高于单个进程使用CPU达到100%。 这让我想到之前看的RWP公开课，里面有一篇连接池管理。为什么相同的业务量，起6千个连接（进程）远远要慢于200个连接，因为绝大多数

linux 性能 优化 实战
0
[转帖]Linux 网络栈接收数据（RX）：配置调优（2022）

http://arthurchiao.art/blog/linux-net-stack-tuning-rx-zh/ 本文尝试从技术研发与工程实践（而非纯理论学习）角度，在原理与实现、监控告警、 配置调优三方面介绍内核5.10 网络栈。由于内容非常多，因此分为了几篇系列文章。 原理与实现 Linux

linux 网络 接收数据 rx
0
[转帖]linux lsof 命令使用指南

https://cizixs.com/2017/05/16/linux-lsof-primer/ lsof 简介 lsof 是 list open files 的简称，正如名字所示，它的作用主要是列出系统中打开的文件。乍看起来，这是个功能非常简单，使用场景不多的命令，不过是 ls 的另一个版本。但是

linux lsof 命令 使用指南
0
# 热门排行
微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战 一篇带你了解如何使用纯前端类Excel表格构建现金流量表 手把手教你玩转 Excel 数据透视表 为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线 提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化 用Echarts实现前端表格引用从属关系可视化
© PmDaddy. 2023 PmDaddy教程网 All rights reserved.