西部世界:分布式存储,让多少主流网盘面壁思过
作者:互联网
西部世界了解到,最近阿里云盘启动公测环节,官方宣称永不限速,还免费送2T空间 。一时间,吸引了不少眼球。
作为一个行走在分布式存储界多年的同行,这次抱着欣赏的态度,马上去试玩了一下。果然,速度那是蹭蹭蹭地上去了,7MB/s的速度,完全不给其它主流网盘面子。
经过一轮测试之后,西部世界不由得疑惑:为什么能有如此惊人的速度?为?什?么?Why?
凭借着一个IPFS从业人员的职业敏感,求真务实的西部世界决定深挖一下它背后技术。不看不知道,一看官网全知道:分布式存储技术,这个熟悉的名字,让西部世界感觉一下子找到了组织。
分布式存储,本质就是将同一个文件按照标准大小切成多个碎片,并存储在不同的服务器上。
IPFS更是分布式存储的集大成者:它是一个点对点的分布式文件系统,有点类似BT下载。不同于中心化云存储只有少数服务器,IPFS中每个参与的节点既是服务器又是客户端, 既是信息的提供者又是信息的消费者。IPFS还有一个很大的核心特点——内容寻址,就是根据数据内容来寻找,而不是用链接地址来寻找。
而在网盘应用这方面,IPFS主要采用的是对象存储(OSS)和纠删码技术。
对象存储-加速神器
对象存储,就是把数据打包在一起作为一个整体对象存在一个超大池子里。只需要报出它的UUID(类似数据的身份ID),就能立即找到它,但访问的时候对象是作为一个整体访问的。就像数据是一堆香蕉,它们被做成了一包包香蕉干,每包香蕉干都有一个唯一出厂号,但是买卖的时候,都一次是一包为单位。
对象存储在一个层结构中不会再有层级结构,相对扁平,可以非常简单地扩展到超大规模,因此非常适合数据量大、增速又很快的视频、图像等。
在IPFS网络中,由于采用了对象存储技术,所有的数据也就没有层级结构,不需要一级级地打开文件来发现文件,而是通过文件哈希值(hash)直接实现访问。所以能快速进行存储或调用,速度方面领先中心化存储。
纠删码-安全卫士
纠删码,从字面意思上看,就是纠正删除。
用户上传文件后,文件会被哈希加密打散成多个碎片。如果其中一部分数据被毁或丢失,IPFS 可以根据剩下的完好的数据,利用纠删码计算出被毁的那部分,自带修复数据技能,大大提高了数据的安全性。
顺带一提,IPFS还运用冗余备份技术,对于同样内容的文件,对应唯一的哈希值的,只会存储一次,但会进行多个备份。即使其它用户再上传同一内容、同一哈希值的文件,都不会重复存储,减少冗余产生,留出更多存储空间。
西部世界看法
事实摆在眼前,无论在速度上还是安全性上,IPFS都有着更加明显的优势,纵观社会、科技的发展,分布式存储将让上网体验更佳、更安全,前景也将更加光明,这也是分布式存储的魅力所在。
标签:文件,存储,删码,网盘,IPFS,哈希,面壁思过,分布式 来源: https://blog.csdn.net/wildwolfsnake/article/details/115302334