Elastic Stack日志分析(十)- Elasticsearch数据路由详解
作者:互联网
目录
1. 文档存储如何路由到相应分片
一个文档,最终会落在主分片的一个分片上,到底应该在哪一个分片?这就是数据路由。
2. 路由算法
当我们创建文档时,它如何决定这个文档应当被存储在分片 1 还是分片 2 中呢?首先这肯定不会是随机的,否则将来要获取文档的时候我们就不知道从何处寻找了。实际上,这个过程是根据下面这个公式决定的:
s
h
a
r
d
=
h
a
s
h
(
r
o
u
t
i
n
g
)
%
n
u
m
b
e
r
_
o
f
_
p
r
i
m
a
r
y
_
s
h
a
r
d
s
shard = hash(routing) \% number\_of\_primary\_shards
shard=hash(routing)%number_of_primary_shards routing 是一个可变值,默认是文档的 _id ,也可以设置成一个自定义的值。routing 通过 hash 函数生成一个数字,然后这个数字再除以 number_of_primary_shards(主分片的数量)后得到余数。这个分布在 0 到 number_of_primary_shards-1 之间的余数,就是我们所寻求的文档所在分片的位置。
这就解释了为什么我们要在创建索引的时候就确定好主分片的数量并且永远不会改变这个数量:因为如果数量变化了,那么所有之前路由的值都会无效,文档也再也找不到了。
所有的文档 API( get 、 index 、 delete 、 bulk 、 update 以及 mget )都接受一个叫做 routing 的路由参数,通过这个参数我们可以自定义文档到分片的映射。一个自定义的路由参数可以用来确保所有相关的文档,例如所有属于同一个用户的文档都被存储到同一个分片中。
举例:
对一个文档经行 CRUD 时,都会带一个路由值 routing number。默认为文档 _id(可能是手动指定,也可能是自动生成)。现在要存储 1 号文档,经过哈希计算,哈希值为 2,此索引有 3个主分片,那么计算 2%3=2,就算出此文档在 P2 分片上。决定一个文档在哪个 shard 上,最重要的一个值就是 routing 值,默认是 _id,也可以手动指定,相同的 routing 值,每次过来,从 hash 函数中,产出的 hash 值一定是相同的。
无论 hash 值是几,无论是什么数字,对 number_of_primary_shards 求余数,结果一定是在0~number_of_primary_shards-1
之间这个范围内的。
标签:hash,Elastic,number,文档,routing,分片,Elasticsearch,Stack,路由 来源: https://blog.csdn.net/weixin_44758876/article/details/123108087