[转帖]Linux文件分发脚本,只需一条命令将你的文件分发到各个服务器上

linux,文件,分发,脚本,一条,命令,各个,服务器 · 浏览次数 : 0

小编点评

**脚本概述:** 脚本旨在分发文件到多个服务器上。它使用 `xrsync` 命令实现文件复制操作。脚本首先使用 `node1`、`node2` 和 `node3` 等主机名获取服务器列表,然后遍历所有服务器,复制文件到其对应目录下。 **脚本步骤:** 1. 检查参数数量,确保有足够参数传递。 2. 遍历所有服务器,并执行以下步骤: - 使用 `mkdir -p` 创建父目录。 - 使用 `rsync -av` 命令将文件复制到目标服务器的指定目录。 - 如果文件已存在,则提示用户文件已存在。 3. 配置环境变量,使 `xrsync` 命令可以在全局范围内使用。 4. 将脚本存储为 `/opt/shell` 下的 `xrsync` 文件,并将其加入 `PATH` 环境变量。 **优化建议:** - 使用 `/etc/hosts` 文件记录服务器列表,方便使用主机名直接操作。 - 生成 SSH 私钥,免密登录服务器。 - 使用 `chmod +x xrsync` 命令为 `xrsync` 文件赋予可执行权限。 - 配置环境变量,使其易于使用。 **注意:** - 脚本中的 `node1`、`node2` 和 `node3` 等变量需要根据实际情况修改为服务器的 IP 地址或主机名。 - 脚本中的 `a.txt` 和 `b.txt` 是示例文件名称,实际文件名称应根据需求更改。

正文

https://zhuanlan.zhihu.com/p/438457921

 

背景

在运维或在日常工作生活中,我们经常会把一个文件拷贝到其它服务器上,或同时分发到多个服务器上,甚至要求目标机将文件放在相同的路径下,方便程序进一步调用。

遇到这种问题,我们通常的做法是使用scp或rsync命令把文件拷贝一个一个地拷贝到多台服务器上,这样做费时费力;大神的做法是使用ansible的playbook一下把事情干完,前提是你得会ansible;快捷的做法就是使用今天的脚本了。

效果演示

目前拥有4台机器,分别为client、node1、node2和node3,client与其它3台机器能够建立ssh链接。在client的/root/test目录下有a.txt和b.txt两个文件。

[root@client test]# ls /root/test/
a.txt  b.txt
[root@client test]# 

我把文件分发到node1、node2和node3的/root/test下,执行以下命令:

# 在/root/test目录下执行, xrsync是我的脚本
[root@client test]# xrsync a.txt b.txt 

执行分发过程:

[root@client test]# xrsync a.txt b.txt 
============ node1 ============
sending incremental file list
a.txt

sent 93 bytes  received 35 bytes  256.00 bytes/sec
total size is 2  speedup is 0.02
sending incremental file list
b.txt

sent 93 bytes  received 35 bytes  85.33 bytes/sec
total size is 2  speedup is 0.02
============ node2 ============
sending incremental file list
a.txt

sent 93 bytes  received 35 bytes  256.00 bytes/sec
total size is 2  speedup is 0.02
sending incremental file list
b.txt

sent 93 bytes  received 35 bytes  256.00 bytes/sec
total size is 2  speedup is 0.02
============ node3 ============
sending incremental file list
a.txt

sent 93 bytes  received 35 bytes  85.33 bytes/sec
total size is 2  speedup is 0.02
sending incremental file list
b.txt

sent 93 bytes  received 35 bytes  256.00 bytes/sec
total size is 2  spee

到node2上看一下,文件果然存在。同样地,node3和node4也同步过去了。

# node2上查看
[root@node2 ~]# ls /root/test/
a.txt  b.txt
[root@node2 ~]# 

# node3上查看
[root@node3 ~]# ls /root/test/
a.txt  b.txt
[root@node3 ~]# 

# node4上查看
[root@node4 ~]# ls /root/test/
a.txt  b.txt
[root@node4 ~]# 

脚本奉上

整个脚本的代码,只需要把其中的node1 node2 node3修改为自己环境下的主机名或ip地址即可。

#!/bin/bash
# 判断参数是否足够
if [ $# -lt 1 ]
then
 echo Not Enounh Arguement!
 exit;
fi

# 遍历所有的机器
for host in node1 node2 node3
do
 echo ============  $host ============
 for file in $@
 do
  # 判断文件是否存在
  if [ -e $file ]
  then
   # 获取父目录
   pdir=$(cd -P $(dirname $file); pwd)

   # 获取当前目录的名称
   fname=$(basename $file)
   ssh $host "mkdir -p $pdir"
   rsync -av $pdir/$fname $host:$pdir
  else
   echo $file does not exists!
  fi
 done
done

运行条件

为了更方便脚本的运行,建议使用如下优化。

1.修改/etc/hosts文件,加入IP地址与主机名的对应关系,这样方便我们使用主机名直接操作。比如我演示的机器配置。

vim  /etc/hosts
# 加入配置,自己的机器对应修改
……
192.168.31.47 client
192.168.31.48 node1
192.168.31.50 node2
192.168.31.51 node3

2.客户机与目标机之间使用ssh密码验证登录,这样在传输文件时不需要二次验证。

# 生成ssh私钥
ssh-keygen -f /root/.ssh/id_rsa -N '' 
# 循环把公钥传递到服务器上,免密登录
for i in node1 node2 node3 
do 
  ssh-copy-id $i
done

# 根据提示输入密码

3.给脚本加可执行权限,并配置环境变量,使用全局可用。

# 把文件存储为xrsync,加上x权限
[root@client shell]# chmod +x xrsync 
[root@client shell]# 

# 配置环境变量
# 我把脚本放在/opt/shell下的,自己情况类比修改
[root@client shell]# vim /etc/profile.d/my_env.sh 
export PATH=$PATH:/opt/shell

# 配置生效,就可以在全局生效了
[root@client opt]# source /etc/profile

至此,早点干完活,开始愉快的玩耍吧~

与[转帖]Linux文件分发脚本,只需一条命令将你的文件分发到各个服务器上相似的内容:

[转帖]Linux文件分发脚本,只需一条命令将你的文件分发到各个服务器上

https://zhuanlan.zhihu.com/p/438457921 背景 在运维或在日常工作生活中,我们经常会把一个文件拷贝到其它服务器上,或同时分发到多个服务器上,甚至要求目标机将文件放在相同的路径下,方便程序进一步调用。 遇到这种问题,我们通常的做法是使用scp或rsync命令把文件拷

[转帖]linux将大目录等分切割成多个小目录

https://www.jianshu.com/p/6f9e6743a1dc 需求:有一个目录存放了数十万个文件,现在需要将这个目录上传,如果整个目录上传,中间因为某些故障断开连接了,可能又要从头开始 这时就需要将目录切割成多个小目录,分批次上传,一个简单的 shell 脚本即可实现 思路很简单:遍

[转帖]linux将大目录等分切割成多个小目录

https://www.jianshu.com/p/6f9e6743a1dc 需求:有一个目录存放了数十万个文件,现在需要将这个目录上传,如果整个目录上传,中间因为某些故障断开连接了,可能又要从头开始 这时就需要将目录切割成多个小目录,分批次上传,一个简单的 shell 脚本即可实现 思路很简单:遍

[转帖]连shell的基本输出都不会,还写什么脚本?echo和printf命令总结

https://zhuanlan.zhihu.com/p/438957797 在 Linux 系统中使用 echo 命令和 printf 命令都可以实现信息的输出功能,下面我们分别看这两个命令的应用案例。 echo 1.使用 echo 命令创建一个脚本文件菜单功能描述:echo 命令主要用来显示字符

[转帖]Linux 监测服务心跳、服务重启策略

文章目录 前言背景一、curl服务可用验证二、服务探测脚本三、配置系统定时任务四、Linux特殊字符转义总结 前言 请各大网友尊重本人原创知识分享,谨记本人博客:南国以南i、 提示:以下是本篇文章正文内容,下面案例可供参考 背景 当服务假死情况下,导致服务不可用,一时间定位不到服务假死原因,可以采用

[转帖]远程执行Linux命令和使用for循环执行Linux命令

记录:363 场景:在CentOS 7.9操作系统上,在主机A上远程执行主机B上的Linux命令。使用for循环执行Linux命令,比如把主机A的/etc/yum.repos.d目录下文件,分发到集群其它节点。 1.使用for循环执行Linux命令 场景:把k8s-master01主机文件分发(拷贝

[转帖]Linux中split大文件分割和cat合并文件详解

https://www.yingsoo.com/news/servers/70195.html 当需要将较大的数据上传到服务器,或从服务器下载较大的日志文件时,往往会因为网络或其它原因而导致传输中断而不得不重新传输。这种情况下,可以先将大文件分割成小文件后分批传输,传完后再合并文件。 1. 分割文件

[转帖]Linux 性能优化和内核观测 - 文件系统与磁盘I/O篇(一)

文件系统索引节点和目录项为了方便管理,Linux 文件系统为每个文件都分配了两个数据结构,即​​索引节点(index node)​​​和​​目录项(directory entry)​​。它们主要用来记录文件的元信息和目录结构。索引节点(简称 inode):用于记录文件的元数据,比如 inode 编号

[转帖]013 Linux 搞懂「文件所属者更改及权限的赋予」从未如此简单 (chmod、chgrp、chown)

https://my.oschina.net/u/3113381/blog/5435014 01 一图详解「ls -l」 02 两种符号区分表示文件和目录 -(横线) # 表示非目录文件 d # 表示目录文件 03 三种访问权限及表示 文件或目录的访问权限分为只读、只写、可执行三种。 r # 只读

[转帖]Linux中关于库

库 1.库文件2.库的分类3.静态库和共享库的区别 1.库文件 库是一组预先编译好的方法的集合. /lib 根目录下的库文件 /usr/lib Linux系统存储库的位置一般存放在/lib 和/usr/lib(64位系统/usr/lib64) 库的头文件放在/usr/include 2.库的分类 静