其他分享
首页 > 其他分享> > minio数据迁移方案

minio数据迁移方案

作者:互联网

文章目录

1 背景

公司需要在公有云环境上进行产品的容器化适配和saas产品发布。产品中使用到了minio。考虑到minio集群最少4个节点,前期客户上传文件数量少,占用空间也少,就先使用minio的容器单实例保存文件。等到后续客户使用minio保存数据较多的时候,再搭建minio的集群,并将单实例的数据迁移到新的minio集群里。
因此,需要提前准备好minio的数据迁移方案,并测试数据从单点的minio迁移到minio集群是否可行。
如下的方案是进行了本地验证的,但是因为其他事情的插入,导致写文档时间与验证方案时间相隔一周。如下的步骤会缺少对应的截图。

2 环境说明

3 操作步骤

3.1 时区和时间设置

如下命令 需要在minio单实例和minio集群都执行

# 调整时区为Asia/Shanghai
timedatectl set-timezone Asia/Shanghai

# 进行网络对时 ntp.ntsc.ac.cn是国家授时中心的ntpd地址
ntpdate ntp.ntsc.ac.cn

3.2 单实例minio安装rclone

执行如下命令进行安装

curl https://rclone.org/install.sh | sudo bash

如果网络不好,如上的命令会执行很久,也安装不上。可以先将脚本下载下来,然后在本地手动执行。

curl https://rclone.org/install.sh > install.sh
bash install.sh

3.3 单实例minio编辑rclone配置文件

mkdir -p ~/.config/rclone/
vim ~/.config/rclone/rclone.conf
[minio-new]
type = s3
provider = Minio
region = cn-east-1
access_key_id = admin
secret_access_key = minioadmin@123
endpoint = http://10.0.14.16:18125
[minio-local]
type = s3
provider = Minio
region = cn-east-1
access_key_id = admin
secret_access_key = minioadmin@123
endpoint = http://192.168.220.3:9000

如上配置 中 各项的含义

3.4 开始同步数据

rclone sync minio-local:dosm minio-new:dosm

如上命令的意思是将minio-local的dosm桶同步到minio-new的dosm桶(如果目标minio上没有对应的桶 会在同步的过程中自动创建)

如果同步时间教程,建议使用screen命令将同步任务放到后台执行,避免任务中断导致的数据异常。
使用screen可以参考screen的使用方法

标签:方案,minio,rclone,access,实例,集群,key,迁移
来源: https://blog.csdn.net/weixin_43557605/article/details/121201641