其他分享
首页 > 其他分享> > [白话解析] 深入浅出一致性Hash原理

[白话解析] 深入浅出一致性Hash原理

作者:互联网

一致性哈希算法是分布式系统中常用的算法。但相信很多朋友都是知其然而不知其所以然。本文将尽量使用易懂的方式介绍一致性哈希原理,并且通过具体应用场景来帮助大家深入这个概念。

[白话解析] 深入浅出一致性Hash原理

0x00 摘要

一致性哈希算法是分布式系统中常用的算法。但相信很多朋友都是知其然而不知其所以然。本文将尽量使用易懂的方式介绍一致性哈希原理,并且通过具体应用场景来帮助大家深入这个概念。

0x01. 概念&原理

Hash,一般翻译做散列、杂凑,或音译为哈希,是把任意长度的输入(又叫做预映射pre-image)通过散列算法变换成固定长度的输出,该输出就是散列值。

一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的,主要是为了解决因特网中的热点(Hot spot)问题。目前这一思想已经扩展到其它的领域,并且在实践中得到了很大的发展。

1. 与经典哈希方法的对比

2. 通俗理解一致性哈希的关键点:

从拗口的技术术语来解释,一致性哈希的技术关键点是:按照常用的hash算法来将对应的key哈希到一个具有2^32次方个桶的空间中,即0 ~(2^32)-1的数字空间。我们可以将这些数字头尾相连,想象成一个闭合的环形。

用通俗白话来理解,这个关键点就是:在部署服务器的时候,服务器的序号空间已经配置成了一个固定的非常大的数字 1~2^32。服务器可以分配为 1~2^32 中任一序号。这样服务器集群可以固定大多数算法规则 (因为序号空间是算法的重要参数),这样面对扩容等变化只是对部分算法规则做调整。具体会参见后面实例详细说明。

3. 一致性哈希如何处理请求

如何决定哪个请求将由哪个服务器节点来处理?

从理论上来说,每个服务器节点“拥有”哈希环的一个区间,进入该区间的任何请求将由同一服务器节点来处理。

我们假设环是有序的,以便环的顺时针遍历与位置地址的递增顺序对应,那么每个请求可以由最先出现在该顺时针遍历中的那个服务器节点来处理。也就是说,地址高于请求地址的第一个服务器节点负责处理该请求。如果请求地址高于最高寻址节点,它由最小地址的服务器节点来处理,因为环遍历以圆形方式进行。

4. 异常处理/变化应对

如果其中一个服务器节点出现故障,下一个服务器节点的区间就变宽,进入该区间的任何请求都将进入到新的服务器节点。这时候应该如何处理这些异常的请求?

一致性Hash的优势就在这里体现:需要重新分配的是仅仅这一个区间(与出现故障的服务器节点对应),哈希环的其余部分和请求/节点分配仍然不受影响。

0x02. 具体应用场景(通过名著水浒传为例来阐释)

大家都知道,梁山泊山下有四个酒店。分别是: 东山酒店 / 西山酒店 / 南山酒店 / 北山酒店

那么这四个酒店如何分配客人入住呢? 这里就能用到Hash算法,也能看到一致性哈希的好处。

1. 经典算法:

梁山4个酒店,按照顺序其序号是1,2,3,4。

哈希函数:客人姓名笔画 / 4得到一个余数,客人按照余数分配到这4个酒店中

如果减少一个酒店,哈希函数就变成: 客人按照姓名笔画 / 3,然后客人按照这个新余数来分配酒店。所有客人都得重新分配酒店

如果增加一个酒店,哈希函数就变成: 客人按照姓名笔画 / 5,然后客人按照这个新余数来分配酒店。所有客人都得重新分配酒店

可以看到,如果有容量变化,则哈希函数和分配规则都要改变,这样就对整体机制造成了伤害。

2. 一致性算法:

预先就把服务器的序号空间(现在~未来)想好了,定为100个桶。就是在未来可见的年份内,100个肯定够了(l梁山无论怎么扩大生产规模,哪怕扩招了10000个头领,山下也没有开设100个酒店的可能)。

哈希函数(这个固定不变):

客人姓名笔画/100. 这个是固定不变的! 因为100这个序号空间固定了,所以哈希函数和分配规则都基本固定了。

酒店/客人分配规则如下(这个会根据容量变化做相应微调):

客人住店规则如下(这个固定不变):

异常处理(扩容或者宕机):

关键点:

可以看出来,关键在于服务器的序号空间早就确定了是一个以后也不会修改的大数字100。当然这是梁山。对于其他真实案例可能是2^32。这样hash函数 (因为序号空间是算法一个重要参数) 可以保持不变,只有"分配规则" 需要根据实际系统容量做相应微调。从而对整体系统影响较小。

当然具体分配酒店的规则算法,是可以融入到hash中。即酒店号码可能就是21,41,61....

0x03. 参考

https://blog.csdn.net/gerryke/article/details/53939212

https://blog.csdn.net/cb_lcl/article/details/81448570

https://www.iteblog.com/archives/2499.html

http://www.zsythink.net/archives/1182/

https://www.sohu.com/a/239283928_463994

标签:酒店,Hash,白话,深入浅出,算法,哈希,服务器,100,客人
来源: https://blog.51cto.com/u_15179348/2734164