首页 > TAG信息列表 > 删码

Minio纠删码快速入门

官方文档地址:http://docs.minio.org.cn/docs/master/minio-erasure-code-quickstart-guide Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏。 即便您丢失一半数量(N/2)的硬盘,您仍然可以恢复数据。 什么是纠删码erasure code 纠删码是一种恢复丢

Reed-Solomon纠错码(RS码)(里德-所罗门码)

Reed-Solomon纠错码(RS码)Reed-Solomon利用范特蒙矩阵或者柯西矩阵的特性来实现纠错码的功能。Reed-Solomon编码:把输入数据视为向量D=(D1,D2,…,Dn),编码后数据视为向量(D1,D2,…Dn,C1,C2,…,Cm),RS编码可以看做为如下图的矩阵运算。编码矩阵B必须具有任意子矩阵可逆的特性。      

纠删码存储系统中的投机性部分写技术

本文已被USENIX'17年度技术大会录用,此处为中文简译版。阅读英文论文完整版请点击:Speculative Partial Writes in Erasure-Coded Systems 前言 多副本和纠删码(EC,Erasure Code)是存储系统中常见的两种数据可靠性方法。与多副本冗余不同,EC将m个原始数据块编码生成k个检验块,形成一个EC

顶会论文:纠删码存储系统中的投机性部分写技术

本文已被USENIX'17年度技术大会录用,此处为中文简译版。 阅读英文论文完整版请点击:Speculative Partial Writes in Erasure-Coded Systems 。 前言 多副本和纠删码(EC,Erasure Code)是存储系统中常见的两种数据可靠性方法。与多副本冗余不同,EC将m个原始数据块编码生成k个检验块,形

争议 | 副本 VS 纠删码,使用分布式存储时数据复制机制选择哪个好?

以下内容来自社区探讨,欢迎点击阅读原文到社区与同行交流本话题分布式存储在使用过程中,如何选择数据复制机制?副本or 纠删码?@钟锦锌 SmartX超融合 产品经理:副本和纠删码之间并不存在谁占据绝对优势,而是两者在不同的场景有各自的优缺点。1、原理比较副本技术的原理比较简单,2 副本为例

西部世界:分布式存储,让多少主流网盘面壁思过

西部世界了解到,最近阿里云盘启动公测环节,官方宣称永不限速,还免费送2T空间 。一时间,吸引了不少眼球。 作为一个行走在分布式存储界多年的同行,这次抱着欣赏的态度,马上去试玩了一下。果然,速度那是蹭蹭蹭地上去了,7MB/s的速度,完全不给其它主流网盘面子。 经过一轮测试之后,西部世

MinIO 分布式集群搭建

MinIO 分布式集群搭建 分布式 Minio 可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式 Minio 避免了单点故障。 Minio 分布式模式可以搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。 (1)数据保护

纠删码简介

纠删码(Erasure Code)中的数学知识 背景   在数据存储领域,Hadoop采用三副本策略有效的解决了存储的容错问题,但是三副本策略中磁盘的利用效率比较低,仅有33%,而且副本带来的成本压力实在太高,后来适时的出现了纠删码的概念。当冗余级别为n+m时,将这些数据块分别存放在n+m个硬盘上,这样就

Ceph的正确玩法之Ceph纠删码理论与实践

 http://blog.itpub.net/31545808/viewspace-2637083/ 注意空格,有的命令少空格   随着云计算业务的快速发展,国内外云计算企业的专利之争也愈发激烈。在云计算这样的技术领域,专利储备往往代表着企业最新的技术实力。本文将与大家共同分享云计算领域的最新技术与解决方案。   一

RS(纠删码)技术浅析及Python实现

前言 在Ceph和RAID存储领域,RS纠删码扮演着重要的角色,纠删码是经典的时间换空间的案例,通过更多的CPU计算,降低低频存储数据的存储空间占用。 纠删码原理 纠删码基于范德蒙德矩阵实现,核心公式如下所示(AD=E) 假设某些数据丢失,右式部分行丢失,变成E',则左式也相应去掉对应行,变成A'。 函数