其他分享
首页 > 其他分享> > 缓存穿透、击穿、雪崩

缓存穿透、击穿、雪崩

作者:互联网

一、缓存穿透

缓存穿透是指缓存和数据库中均不存在目标数据,而用户不断发起请求,缓存也得不到更新,由此每次请求该数据都会到数据库层面。高并发量,就会对后端的 DB 系统造成很大压力。如查询 id 为“-1”或不存在的数据,此时用户很可能是攻击者,攻击会导致数据库压力过大。关键点:缓存 value 为空;并发量很大去访问 DB。通俗理解,直接把缓存穿透了,没有利用到缓存。

1️⃣造成的原因

  1. 业务自身代码或数据出现问题。
  2. 一些恶意攻击、爬虫造成大量空的命中,此时会对数据库造成很大压力。

2️⃣解决方法

  1. 接口层增加校验,如用户鉴权,id 做基础校验,id<=0 的直接拦截。
  2. 如果查询数据为空,不管是数据不存在还是系统故障,直接设置一个默认值存放到缓存,如此就可以防止暴力攻击。设置一个很短的过期时间(太长会导致正常情况也无法使用)或者当有值的时候将缓存中的值更新掉即可。
  3. 设置布隆过滤器,将所有可能存在的数据哈希到一个足够大的 bitmap 中,一个一定不存在的数据会被这个 bitmap 拦截掉,从避免了对底层存储系统的查询压力。
    tip:可以给 key 设置一些格式规则,查询之前先过滤掉不符合规则的 Key。

二、缓存击穿

缓存击穿是指缓存中没有但数据库中有的数据(一般是缓存时间到期),此时由于并发用户过多,同时读缓存没读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力。

解决方案:

  1. 设置热点数据永远不过期。
  2. 加互斥锁。

三、缓存雪崩

如果缓存集中在一段时间内失效,发生大量的缓存穿透,所有的查询都落在数据库上,就会造成缓存雪崩。

缓存层承载了大量的请求,有效的保护了存储层。但是如果缓存整体不能够提供服务,所有的请求,就会到达存储层,存储层的调用量就会暴增,造成存储层挂掉的结果。缓存雪崩的英文解释是奔逃的野牛,指的是缓存层宕掉之后,并发流量会像奔腾的野牛一样,大量涌向后端存储。存在这种问题的一个场景是:当缓存服务器重启或者大量缓存集中在某一个时间段失效,大量数据会去直接访问 DB,此时给 DB 很大的压力。
和缓存击穿不同的是,缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库。

一个雪崩的简单过程:

  1. Redis 集群大面积故障。
  2. 缓存失效,但仍有大量请求访问缓存服务 Redis。
  3. Redis 服务失效后,大量请求转向到 MySQL
  4. MySQL 的调用量暴增,很快就扛不住了,甚至直接宕机。
  5. 由于大量的应用服务依赖 MySQL 和 Redis 的服务,这个时候很快会演变成各服务器集群的雪崩,最后网站彻底崩溃。

1️⃣解决方法

  1. 缓存数据的过期时间设置随机,防止同一时间大量数据过期现象发生。
  2. 设置热点数据永远不过期。这样保证了不会出现热点问题,也就是物理上不过期。
  3. 资源保护。使用 netflix 的 hystrix,可以做各种资源的线程池隔离,从而保护主线程池。
  4. 如果缓存数据库是分布式部署,将热点数据均匀分布在不同的缓存数据库中。
  5. 缓存的高可用性
    缓存层设计成高可用,防止缓存大面积故障。即使个别节点、个别机器、甚至是机房宕掉,依然可以提供服务,例如 Redis Sentinel 和 Redis Cluster 都实现了高可用。
  6. 缓存降级
    可以利用 ehcache 等本地缓存(暂时支持),但主要还是对源服务访问进行限流、资源隔离(熔断)、降级等。当访问量剧增、服务出现问题仍然需要保证服务还是可用的。系统可以根据一些关键数据进行自动降级,也可以配置开关实现人工降级,这里会涉及到运维的配合。降级的最终目的是保证核心服务可用,即使是有损的。比如推荐服务中,很多都是个性化的需求,假如个性化需求不能提供服务了,可以降级补充热点数据,不至于造成前端页面是个大空白。在进行降级之前要对系统进行梳理,比如:哪些业务是核心(必须保证),哪些业务可以容许暂时不提供服务(利用静态页面替换)等,以及配合服务器核心指标,来后设置整体预案,比如:
    ①一般:比如有些服务偶尔因为网络抖动或者服务正在上线而超时,可以自动降级;
    ②警告:有些服务在一段时间内成功率有波动(如在95~100%之间),可以自动降级或人工降级,并发送告警;
    ③错误:比如可用率低于90%,或者数据库连接池被打爆了,或者访问量突然猛增到系统能承受的最大阀值,此时可以根据情况自动降级或者人工降级;
    ④严重错误:比如因为特殊原因数据错误了,此时需要紧急人工降级。
  7. Redis 备份和快速预热
    ①Redis 数据备份和恢复
    ②快速缓存预热
  8. 使用互斥锁。在缓存失效后,通过加锁或者队列来控制读和写数据库的线程数量。比如:对某个 key 只允许一个线程查询数据和写缓存,其他线程等待。单机的话,可以使用 synchronized 或者 lock 来解决;如果是分布式环境,可以用 Redis 的 setnx 命令来解决。
  9. 提前演练
    建议还是在项目上线前,演练缓存层宕掉后,应用以及后端的负载情况以及可能出现的问题,对高可用提前预演,提前发现问题。

四、缓存并发

这里的并发指的是多个 Redis 的 client 同时 set key 引起的并发问题。其实 Redis 自身就是单线程操作,多个 client 并发操作,按照先到先执行的原则,先到的先执行,其余的阻塞。当然,另外的解决方案是把 redis.set 操作放在队列中使其串行化,必须得一个一个执行。

五、缓存预热

缓存预热目的就是在系统上线前,将相关的缓存数据直接加载到缓存系统。这样就可以避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!

解决思路:

  1. 直接写个缓存刷新页面,上线时手工操作下。
  2. 数据量不大,可以在项目启动的时候自动进行加载。

标签:降级,缓存,击穿,数据库,Redis,并发,雪崩,数据
来源: https://blog.csdn.net/ChineseSoftware/article/details/122573675