其他分享
首页 > 其他分享> > TB级NFS数据平滑迁移系列

TB级NFS数据平滑迁移系列

作者:互联网

公司原来提供的ccdbfs集群服务即将下线,需要在一个月内迁移完毕,并且后续提供持续稳定、高可用NFS服务。

预估20TB数据,假设拷贝速率100MB/s。

20 * 1024 * 1024 / 100 ≈ 209715.2 s
209715.2 / (60 * 60) ≈ 58 h

至少需要两三天。事实上,在两个NFS集群间拷贝传输速率没这么快,而且大量小文件的情况下,会更慢,降到10MB/s是非常正常的。如何平滑、如何过渡、如何高效无损?服务搭建、风险预案、集群双写等方面都值得深思熟虑。

什么是 NFS?

分布式文件系统:Distributed file system, DFS,又叫做网络文件系统:Network File System。一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。

平滑迁移重难点

该系列规划

计划在该系列中详细描述以下要点:

预告

最终的方案选型是MooseFS,并且是全机房混布,经过测试发现,多metalogger+多副本goal备份,竟然不影响读写速率,这点是一个使用后的惊喜。

平滑迁移方案会在《TB级NFS数据平滑迁移方案设计与实现》详细描述设计过程,为什么选用为什么弃用几种不同方案。最后确定的是 全机房【inotify + change_file.list + 定制化增量复制 】+ 单client定制化复制diff剩余数据 的方案。

标签:平滑,MooseFS,NFS,集群,迁移,TB
来源: https://www.cnblogs.com/xrszff/p/10960180.html