数据库
首页 > 数据库> > redis--bloomFilter

redis--bloomFilter

作者:互联网

需求:50亿个电话号码,查找10万个,判断10w个电话号码是否存在?
用bitmap/hyperloglog的话,亿级数据也是非常吃内存哟。

在这里插入图片描述

是个啥:

由一个初始值都为0的bit数组和多个哈希函数构成,用于快速判断某个数据是否存在。(多个hash函数,减少hash冲突概率)
本质:用于快速判断数据是否存在于一个大的集合中。类似set,但是统计结果不太准确。

特点:

1.插入查询高效,占空间少,返回结果不确定。
2.一个元素,存在时,bloom来判断它不一定就存在;但是不存在的,bloom来判断,结果一定不存在。(hash冲突)
3.可以添加元素,但是不能删除,删除导致误判率增大
4.误判只会发生在bloom没添加过的元素,添加过的元素不会误判

主要解决:

★1.缓存穿透

在这里插入图片描述
空对象缓存治标不治本!黑客短时间发送大量不同的、不存在的key的话,依旧会造成压力。

Google的guava解决缓存穿透(单机版)

Redis的bloom解决缓穿-Redisson(集群好用–推荐)

Rebloom-非业务代码方式实现的布隆,直接安装在redis服务器,相当一个redis插件

fpp(误差率)设置的不是越小越好,误判率低,空间占比大,同时执行效率也会降低。

解决缓存穿透流程:

在这里插入图片描述

业务:黑、白名单

在这里插入图片描述
在这里插入图片描述

2.黑白名单校验

在这里插入图片描述

原理:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这就是不能删除的原因:多个哈希函数对多个obj哈希运算时,有可能出现上图3号槽位的冲突,删除后俩对象都被删除,但实质上俩对象都是存在的,会被误判为俩对象不存在。
在这里插入图片描述

★★原理一句话总结:

1.初始化 。
在这里插入图片描述

2.添加元素至过滤器 (给存在于redis的数据按位打个0/1★标识★,并非把真实数据存入过滤器!)。
在这里插入图片描述

3.判断是否存在。
在这里插入图片描述

往redis存之后再存入bloom,只要bloom中有,没那么redis大概率也有,bloom有误判偶尔缓存穿透一两次无所谓;只要bloom判断没有,那么就不必去redis查了。

在这里插入图片描述

hash冲突的案例:

sout(“Aa”.hashcode());
sout(“BB”.hashcode());
2.
在这里插入图片描述

下一代:布谷鸟过滤器。可以删除,查询效率和空间利用率都优于bloom

标签:存在,缓存,hash,--,bloom,误判,redis,bloomFilter
来源: https://blog.csdn.net/Strong_shady/article/details/120903383