其他分享
首页 > 其他分享> > 布隆过滤器

布隆过滤器

作者:互联网

什么是布隆过滤器(Bloom Filter)

1.引言
上一篇博客: Redis缓存雪崩、缓存击穿、缓存穿透
在上一篇博客中,我们了解了Redis缓存雪崩、缓存击穿、缓存穿透,并且知道了解决缓存穿透可以使用布隆过滤器,接下来我们就一起来看看这个布隆过滤器吧!

2.布隆过滤器

首先,我们需要了解布隆过滤器的概念。
布隆过滤器(Bloom Filter)是一个叫做 Bloom 的老哥于1970年提出的。我们可以把它看作由二进制向量(或者说位数组)和一系列随机映射函数(哈希函数)两部分组成的数据结构。相比于我们平时常用的的 List、Map 、Set 等数据结构,它占用空间更少并且效率更高,但是缺点是其返回的结果是概率性的,而不是非常准确的。理论情况下添加到集合中的元素越多,误报的可能性就越大。并且,存放在布隆过滤器的数据不容易删除。
如果想要判断一个元素是不是在一个集合里,一般想到的是将所有元素保存起来,然后通过比较确定。链表,树等等数据结构都是这种思路. 但是随着集合中元素的增加,我们需要的存储空间越来越大,检索速度也越来越慢(O(n),O(logn))。不过世界上还有一种叫作散列表(又叫哈希表,Hash table)的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列(Bit array)中的一个点。这样一来,我们只要看看这个点是不是1就可以知道集合中有没有它了。这就是布隆过滤器的基本思想。

布隆过滤器的原理

在这里插入图片描述
每个元素都只占用 1 bit ,并且每个元素只能是 0 或者 1。我们用不同位置的1来组合成不同的数据。

当我们向布隆过滤器中添加一个元素的时候,布隆过滤器是这样将它存储的:
第一步、使用哈希函数对元素进行计算 ,然后得到哈希值。(有几个哈希函数就会得到几个值)。
第二步、根据得到的哈希值,在位数组中把对应下标的值置为 1。

如图所示:
在布隆过滤器中存储 hello 这个数据,那么首先会计算hello 的哈希函数值, 然后算出来对应的下标值, 然后把对应的值改为1即可。(注意,最开始的时候数组里所有元素均为0)

在这里插入图片描述

注意这里不一定必须是三个hash函数,这个可以自己设置的,待会我们就用java语言来模拟一下这个过程。

如果我们需要判断某个字符串是否在布隆过滤器中时,只需要对给定字符串再次进行相同的哈希计算,得到值之后判断位数组中的每个元素是否都为 1,如果值都为 1,那么说明这个值在布隆过滤器中,如果存在一个值不为 1,说明该元素不在布隆过滤器中。

不同的字符串可能通过哈希函数计算的出来的位置相同,这种情况我们可以适当增加位数组大小或者调整我们的哈希函数

布隆过滤器使用场景

1.首先肯定是解决Redis缓存穿透问题。(判断请求是否无效)
2.在海量元素中(例如 10 亿无序、不定长、不重复)快速判断一个元素是否存在。
3.识别恶意 URL;
4.从数十亿个垃圾邮件列表中判断某邮箱是否垃圾邮箱;
。。。

布隆过滤器缺陷

布隆过滤器有一个缺陷,就是误判率。
什么叫误判率?
误判率是指当我们使用布隆过滤器查询一个数据时,结果返回的都是1,则说明它存在对吧。这样的话就错了!它有可能不存在,因为有可能其他数据的哈希结果也是这样。

我们可以总结一下:

如果布隆过滤器判断元素在集合中存在,不一定存在;
如果布隆过滤器判断不存在,一定不存在;
如果元素实际存在,布隆过滤器一定判断存在
如果元素实际不存在,布隆过滤器可能判断存在

3.java实现

接下来我们就用Google开源的Guava来实现一下布隆过滤器。

第一步、引入guava依赖

<dependency> 
          <groupId>com.google.guava</groupId> 
          <artifactId>guava</artifactId> 
          <version>21.0</version> 
      </dependency>

第二步

import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;

public class BloomFilterTest {
     //插入10000条数据数据
    private  static  final  int NUMBER = 100000;
    //误判率
    private static double fpp = 0.02;

    public static void main(String[] args) {
        //初始化布隆过滤器,默认误判率 0.02
        BloomFilter<Integer> bf = BloomFilter.create(Funnels.integerFunnel(), NUMBER, fpp);
        // 判断指定元素是否存在
        System.out.println(bf.mightContain(1));
        System.out.println(bf.mightContain(2));
        // 将元素添加进布隆过滤器
        bf.put(1);
        bf.put(2);
        System.out.println(bf.mightContain(1));
        System.out.println(bf.mightContain(2));


    }
}

输出结果:

false
false
true
true

方法返回true时,我们可以99%确定该元素在过滤器中,当过滤器返回false时,我们可以100%确定该元素不存在于过滤器中。

下面我们来改造一下代码,来看看误判率:

import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;

public class BloomFilterTest {
     //插入10000条数据数据
    private  static  final  int NUMBER = 100000;
    //误判率
    private static double fpp = 0.02;

    public static void main(String[] args) {
        //初始化布隆过滤器,默认误判率 0.02
        BloomFilter<Integer> bf = BloomFilter.create(Funnels.integerFunnel(), NUMBER, fpp);

        //插入10w样本数据
        for (int i = 0; i <NUMBER ; i++) {
            bf.put(i);
        }
        int count = 0;
        //用另外10w的数据来测试误判率
        for (int i = NUMBER; i < NUMBER + 100000; i++) {
             if(bf.mightContain(i)) {
                 count++;
                 System.out.println(i+"误判");
             }

        }
        System.out.println("总共的误判:"+count);
    }
}

结果:
在这里插入图片描述

误判了1924次,来算一下,1924 / 100000 约等于 0.02 ,嗯。跟想的一样。

这样得出一个结论:
虽然我们可以手动设置误判率,但是要设置合理。误判率越小,那么误判的结果就越少。 但是误判率越小,hash计算的时间就越来越长,所需要的Hash函数也越多,性能也就越差。

标签:bf,误判,元素,布隆,哈希,过滤器
来源: https://blog.csdn.net/weixin_46295656/article/details/115053404