[转帖]rclone将本地文件或文件夹导入minio中

rclone,本地,文件,文件夹,导入,minio · 浏览次数 : 0

小编点评

**背景:** * 公司数据迁移涉及到文件迁移。 * 原有文件服务器没有使用minio,现在的新系统使用了minio。 * 历史文件数据量大,甲方要求通过服务器文件拷贝方式迁移文件,性能、安全性更高。 **前期准备:** * 1)minio文件服务器已经安装完成。 * 2)创建需要的桶,新文件放到 `files` 文件桶中,迁移文件放到 `oldfiles` 文件桶中。 **实施过程:** 1. 历史文件压缩上传到生产环境的文件服务器中的任意文件下 `/fileData`,解压文件。 2. 配置 `rclone`: - `rclone lsd minio:` 列出minio下所有的桶信息 - `rclone mkdir minio:bucket:` 在minio中创建一个名称是 `bucket` 的桶 - `rclone sync /home/files minio:bucket:` 把/home/files文件夹下所有的文件包到 `bucket` 下 3. 使用 `rclone sync` 命令,将 `fileData` 下的每个文件复制到 `oldfiles` 中: - `rclone sync /home/fileData/ minio:oldfiles` 4. 文件迁移完成,数据表通过字段对比,进行数据清洗; 5. 通过接口访问上传的文件可以被识别。

正文

1、背景:公司数据迁移涉及到文件迁移,原有文件服务器没有使用minio,但是现在的新系统使用了minio。所以这就需要我们将文件上传到minio文件服务器中;由于历史文件数据量大,甲方要求可以通过服务器文件拷贝方式迁移文件,性能、安全性更高;

2、前期准备:

1)minio文件服务器已经安装完成;

2)创建需要的桶,新文件放到files桶中,迁移文件放到oldfiles桶中;

3、实施过程:

1)历史文件压缩上传到生产环境的文件服务器中的任意文件下/fileData,解压文件;

2)配置rclone;

        2.1)下载rclone

        2.2)配置rclone的配置文件,rclone默认会读取(没有的话自己创建);

  1. [minio]
  2. type = s3
  3. env_auth = false
  4. access_key_id = admin #用户名
  5. secret_access_key = 12345678 #密码
  6. region =
  7. endpoint = http://127.0.0.1:9000 #服务端地址

        2.3)常用命令

  1. rclone lsd minio: #列出minio下所有的bucket信息
  2. rclone mkdir minio:bucket #在minio中创建一个名称是bucket的桶
  3. rclone sync /home/files minio:bucket #把/home/files文件夹下所有的文件包
  4. 括子文件都传到bucket下

3)使用2.3的命令,将fileData下的文件复制到桶oldfiles中:

执行:rclone sync /home/fileData/ minio:oldfiles

结果:dan.jpg是被文件服务器识别的文件,而111.jpg是通过物理上传的;

 4)文件迁移完成,数据表通过字段对比,进行数据清洗;

 5) 通过接口访问上传的文件可以被识别;

</article>

与[转帖]rclone将本地文件或文件夹导入minio中相似的内容:

[转帖]rclone将本地文件或文件夹导入minio中

1、背景:公司数据迁移涉及到文件迁移,原有文件服务器没有使用minio,但是现在的新系统使用了minio。所以这就需要我们将文件上传到minio文件服务器中;由于历史文件数据量大,甲方要求可以通过服务器文件拷贝方式迁移文件,性能、安全性更高; 2、前期准备: 1)minio文件服务器已经安装完成;

[转帖]Windows平台下使用 Rclone 挂载 OneDrive 为本地硬盘

https://zhuanlan.zhihu.com/p/139200172 Rclone (rsync for cloud storage) 是一个命令行程序,用于同步文件和目录,支持常见的 Amazon Drive 、Google Drive 、OneDrive 、Dropbox 等云存储。本文

[转帖]win10下使用Rclone将OneDrive映射到本地磁盘教程(开机自动挂载)

win10下使用Rclone将OneDrive映射到本地磁盘教程(开机自动挂载) 下载rclone,winfsp和Git bashRclone.Winfsp. 和 [Git bash](https://gitforwindows.org/). 配置Rclone开机自动挂载 onedrive云盘是微软

[转帖]使用Rclone实现minio数据的迁移

使用Rclone实现minio数据的迁移 一、准备 1.1 使用工具 rclone:开源的对象存储在线迁移工具,用于文件和目录的同步,支持阿里云的oss、minio 、亚马逊S3 等。 1.2 注意事项 1、两台机器的时区及时间要保持一致,最后进行迁移之前,两台机器的时间进行校准。方法如下: #ce

[转帖]

Linux ubuntu20.04 网络配置(图文教程) 因为我是刚装好的最小系统,所以很多东西都没有,在开始配置之前需要做下准备 环境准备 系统:ubuntu20.04网卡:双网卡 网卡一:供连接互联网使用网卡二:供连接内网使用(看情况,如果一张网卡足够,没必要做第二张网卡) 工具: net-to

[转帖]

https://cloud.tencent.com/developer/article/2168105?areaSource=104001.13&traceId=zcVNsKTUApF9rNJSkcCbB 前言 Redis作为高性能的内存数据库,在大数据量的情况下也会遇到性能瓶颈,日常开发中只有时刻

[转帖]ISV 、OSV、 SIG 概念

ISV 、OSV、 SIG 概念 2022-10-14 12:29530原创大杂烩 本文链接:https://www.cndba.cn/dave/article/108699 1. ISV: Independent Software Vendors “独立软件开发商”,特指专门从事软件的开发、生产、

[转帖]Redis 7 参数 修改 说明

2022-06-16 14:491800原创Redis 本文链接:https://www.cndba.cn/dave/article/108066 在之前的博客我们介绍了Redis 7 的安装和配置,如下: Linux 7.8 平台 Redis 7 安装并配置开机自启动 操作手册https://ww

[转帖]HTTPS中间人攻击原理

https://www.zhihu.com/people/bei-ji-85/posts 背景 前一段时间,公司北京地区上线了一个HTTPS防火墙,用来监听HTTPS流量。防火墙上线之前,邮件通知给管理层,我从我老大那里听说这个事情的时候,说这个有风险,然后意外地发现,很多人原来都不知道HTTPS防

[转帖]关于字节序(大小端)的一点想法

https://www.zhihu.com/people/bei-ji-85/posts 今天在一个技术群里有人问起来了,当时有一些讨论(不完全都是我个人的观点),整理一下: 为什么网络字节序(多数情况下)是大端? 早年设备的缓存很小,先接收高字节能快速的判断报文信息:包长度(需要准备多大缓存)、地