[转帖]使用Rclone实现minio数据的迁移

使用,rclone,实现,minio,数据,迁移 · 浏览次数 : 0

小编点评

**一、准备** 1.1 使用工具rclone: * 下载并安装rclone:`curl https://rclone.org/install.sh | sudo bash2.2` 1.2 注意事项: * 1、两台机器的时区及时间要保持一致。 * 最后进行迁移之前,两台机器的时间进行校准。 **二、部署过程** 2.1 rclone安装bash ```bash curl https://rclone.org/install.sh | sudo bash2.2 ``` 2.2 生成配置文件rclone config ```bash rclone config file ``` * 生成文件位于:`/root/.config/rclone目录下`。 * rclone config file 可以用于windows系统下查看rclone.conf 文件位置,直接修改此文件也可实现配置文件处理注:熟练的话,一般可以直接手动创建此文件,放在指定目录就可以了。我工作中一般手动编辑创建此文件,放在`$HOME/.config/rclone`目录下。 2.3 开始迁移 ```bash rclone sync minio-pre:test-xx-edm-pre minio-prelocal:test-xx-edm-pre ``` * `minio-pre:test-xx-edm-pre` 和 `minio-prelocal:test-xx-edm-pre` 是远程和本地目录的路径。 * `test-xx-edm-pre` 是迁移的进度名称。 **归纳总结** 生成内容时需要带简单的排版: ```bash rclone sync minio-pre:test-xx-edm-pre minio-prelocal:test-xx-edm-pre ```

正文

使用Rclone实现minio数据的迁移

 

一、准备

1.1 使用工具

rclone:开源的对象存储在线迁移工具,用于文件和目录的同步,支持阿里云的oss、minio 、亚马逊S3 等。

1.2 注意事项

1、两台机器的时区及时间要保持一致,最后进行迁移之前,两台机器的时间进行校准。方法如下:

#centos 7设置时区
timedatectl set-timezone Asia/Shanghai
#时间同步
ntpdate ntp.aliyun.com
BASH 复制 全屏

二、部署过程

2.1 rclone安装

bash curl https://rclone.org/install.sh | sudo bash

2.2 生成配置文件

rclone config
按照提示一步步,输入相应配置,即可。生成的文件位于:/root/.config/rclone目录下。

rclone config file # 可以用于windows系统下查看rclone.conf 文件位置,直接修改此文件也可实现配置文件处理

注:熟练的话,一般可以直接手动创建此文件,放在指定目录就可以了。我工作中一般手动编辑创建此文件。

2.3 开始迁移

1、开始迁移

rclone sync minio-pre:test-xx-edm-pre minio-prelocal:test-xx-edm-pre

如果数据量很大,可以开一个screen,保证连接不中断,下面就可以喝咖啡慢慢等待了。

与[转帖]使用Rclone实现minio数据的迁移相似的内容:

[转帖]使用Rclone实现minio数据的迁移

使用Rclone实现minio数据的迁移 一、准备 1.1 使用工具 rclone:开源的对象存储在线迁移工具,用于文件和目录的同步,支持阿里云的oss、minio 、亚马逊S3 等。 1.2 注意事项 1、两台机器的时区及时间要保持一致,最后进行迁移之前,两台机器的时间进行校准。方法如下: #ce

[转帖]win10下使用Rclone将OneDrive映射到本地磁盘教程(开机自动挂载)

win10下使用Rclone将OneDrive映射到本地磁盘教程(开机自动挂载) 下载rclone,winfsp和Git bashRclone.Winfsp. 和 [Git bash](https://gitforwindows.org/). 配置Rclone开机自动挂载 onedrive云盘是微软

[转帖]Windows平台下使用 Rclone 挂载 OneDrive 为本地硬盘

https://zhuanlan.zhihu.com/p/139200172 Rclone (rsync for cloud storage) 是一个命令行程序,用于同步文件和目录,支持常见的 Amazon Drive 、Google Drive 、OneDrive 、Dropbox 等云存储。本文

[转帖]rclone将本地文件或文件夹导入minio中

1、背景:公司数据迁移涉及到文件迁移,原有文件服务器没有使用minio,但是现在的新系统使用了minio。所以这就需要我们将文件上传到minio文件服务器中;由于历史文件数据量大,甲方要求可以通过服务器文件拷贝方式迁移文件,性能、安全性更高; 2、前期准备: 1)minio文件服务器已经安装完成;

[转帖]使用JMX服务监控Java程序性能

https://www.jianshu.com/p/3c3c836c1c20?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation 背景 单机收集服务器需要性能监控和测试。 JMX

[转帖]使用 tc netem 模拟网络异常

https://cizixs.com/2017/10/23/tc-netem-for-terrible-network/ 在某些情况下,我们需要模拟网络很差的状态来测试软件能够正常工作,比如网络延迟、丢包、乱序、重复等。linux 系统强大的流量控制工具 tc 能很轻松地完成,tc 命令行是 ipr

[转帖]使用 sysdig 进行监控和调试 linux 机器

https://cizixs.com/2017/04/27/sysdig-for-linux-system-monitor-and-analysis/ sysdig 简介 sysdig 官网 上对自己的介绍是: Open Source Universal System Visibility With

[转帖]使用MAT命令行工具生成堆dump分析文件

https://www.cnblogs.com/hellxz/p/use_mat_linux_command_line_generate_reports.html 写作目标 Java程序运行过程中,难免会出现 OOM,往往是在 JVM 启动参数中添加出现 OOM 时输出堆 dump(又名:堆转储、堆

[转帖]使用火焰图(FlameGraph)分析程序性能

火焰图概念 火焰图(FlameGraph)是 svg 格式的矢量图,是先通过 perf 等工具分析得到结果,并将该结果生成的具有不同层次且支持互动的图片,看起来就像是火焰,这也是它的名字的由来。表现形式如下所示: 需要注意以下几点: 纵向(Y 轴)高低不平,表示的是函数调用栈的深度。每一层都是一个函

[转帖]使用Prometheus和Grafana监控RabbitMQ集群 (使用RabbitMQ自带插件)

https://www.cnblogs.com/hahaha111122222/p/15683696.html 配置RabbitMQ集群 官方文档:https://www.rabbitmq.com/prometheus.html#quick-start 官方github地址:https://gith