1、背景:公司数据迁移涉及到文件迁移,原有文件服务器没有使用minio,但是现在的新系统使用了minio。所以这就需要我们将文件上传到minio文件服务器中;由于历史文件数据量大,甲方要求可以通过服务器文件拷贝方式迁移文件,性能、安全性更高;
2、前期准备:
1)minio文件服务器已经安装完成;
2)创建需要的桶,新文件放到files桶中,迁移文件放到oldfiles桶中;
3、实施过程:
1)历史文件压缩上传到生产环境的文件服务器中的任意文件下/fileData,解压文件;
2)配置rclone;
2.1)下载rclone
2.2)配置rclone的配置文件,rclone默认会读取(没有的话自己创建);
- [minio]
- type = s3
- env_auth = false
- access_key_id = admin #用户名
- secret_access_key = 12345678 #密码
- region =
- endpoint = http://127.0.0.1:9000 #服务端地址
2.3)常用命令
- rclone lsd minio: #列出minio下所有的bucket信息
- rclone mkdir minio:bucket #在minio中创建一个名称是bucket的桶
- rclone sync /home/files minio:bucket #把/home/files文件夹下所有的文件包
- 括子文件都传到bucket下
3)使用2.3的命令,将fileData下的文件复制到桶oldfiles中:
执行:rclone sync /home/fileData/ minio:oldfiles
结果:dan.jpg是被文件服务器识别的文件,而111.jpg是通过物理上传的;
4)文件迁移完成,数据表通过字段对比,进行数据清洗;
5) 通过接口访问上传的文件可以被识别;
</article>