DeepSeek-缓存穿透雪崩防护与布隆过滤器
一句话
MySQL + Redis 场景下,「缓存穿透」用空值缓存/布隆过滤器挡、「缓存雪崩」用随机 TTL/多级缓存/高可用救、「缓存击穿」用互斥锁/逻辑过期治。核心是在缓存层和数据库层之间做好流量拦截与降级保护。
一、三大缓存问题速查
| 问题 | 原因 | 核心方案 |
|---|---|---|
| 缓存穿透 | 查根本不存在的数据,DB 每次都中招(常见恶意攻击) | 空值缓存、布隆过滤器、参数校验 |
| 缓存雪崩 | 大量 key 同时过期,或 Redis 集群宕机,请求瞬间全部打 DB | 随机过期时间、多级缓存、高可用、熔断降级 |
| 缓存击穿 | 单个热点 key 失效瞬间的高并发冲击 | 互斥锁、逻辑过期、热点永不过期 |
缓存击穿常和雪崩一起提,区别是:击穿是「单个热点 key」,雪崩是「大量 key」。
二、缓存穿透(防恶意/无效请求打到 DB)
问题:缓存和 DB 都查不到,被攻击时每次都打 DB。
- 空值缓存(最简单):查 DB 为空时仍写空值进 Redis,短 TTL(如 60s)。
- 布隆过滤器(推荐,适合数据量大,下节详讲):把存在的 key 预置进过滤器,查询前先判断,不存在直接返回。
- 接口层校验:对 id 做合法性校验,挡掉明显非法请求。
空值缓存示例:
public User getUser(Long id) {
String key = "user:" + id;
String cached = redis.get(key);
if (cached != null) return "".equals(cached) ? null : JSON.parseObject(cached, User.class);
User user = userMapper.selectById(id);
if (user == null) { redis.setex(key, 60, ""); return null; } // 缓存空值,60s
redis.setex(key, 3600, JSON.toJSONString(user));
return user;
}三、缓存雪崩(大量 key 同时失效)
- 过期时间加随机值(最常用):避免同一时刻批量失效。
int expire = 3600 + new Random().nextInt(600); // 1 小时 + 0~10 分钟随机
redis.setex(key, expire, value);- 多级缓存:本地缓存(Caffeine)+ Redis,Redis 挂了还有本地兜底。
- Redis 高可用:主从 + 哨兵,或 Redis Cluster,避免单点故障。
- 熔断降级:Sentinel / Hystrix,DB 压力过大时对非核心请求降级返回默认值/友好提示。
四、缓存击穿(单个热点 key 失效)
互斥锁重建:只让一个线程查 DB 重建缓存,其他线程短暂等待。
public User getUser(Long id) {
String key = "user:" + id;
String cached = redis.get(key);
if (cached != null) return JSON.parseObject(cached, User.class);
String lockKey = "lock:user:" + id;
if (redis.setnx(lockKey, "1", 10)) { // 尝试加锁(10s 自动过期防死锁)
try {
User user = userMapper.selectById(id);
redis.setex(key, 3600, JSON.toJSONString(user));
return user;
} finally { redis.del(lockKey); }
} else {
Thread.sleep(50); // 拿不到锁,短暂休眠后重试
return getUser(id);
}
}或逻辑过期:value 里存过期时间、不设 Redis TTL,异步线程更新——适合极致热点(永不过期但内容异步刷新)。
五、布隆过滤器原理
核心:一个很长的位数组 + 多个哈希函数,用极小空间判断「某元素一定不存在,或可能存在」。
结构
- 位数组:初始全 0,长度 m。
- k 个独立哈希函数,每个把元素映射到数组某一位。
添加元素
插入 x:算 h1(x)...hk(x) → k 个位置全部置 1。
查询元素
对 y 算同样的 k 位,检查是否全为 1:
- 有一位置 0 → 一定不存在(可靠拦截)
- 全为 1 → 可能存在(可能被别的元素碰巧置 1,有误判)
两条铁律
| 判断结果 | 含义 |
|---|---|
| 说不存在 | 一定不存在(可靠) |
| 说存在 | 可能存在(有误判) |
两个特性:
- 不会漏判(假阴性):存在的元素一定判为存在。
- 可能误判(假阳性):不存在的元素可能被判存在。
- 不能删除:把某位置 0 会影响其他元素 → 需用计数布隆过滤器(每位用计数器)。
误判率
- m:位数组长度(越大误判越低)
- k:哈希函数个数(有最优值)
- n:已插入元素数
误判率 p ≈ (1 - e^(-kn/m))^k
最优哈希个数 k = (m/n)·ln2 ≈ 0.693·(m/n)
经验值:误判率 ~1% 时,每个元素约需 10 位、用 7 个哈希函数。
在防穿透中的用法
请求 id → 布隆过滤器判断
├─ 不存在 → 直接返回 null(拦截,不查 Redis/DB)
└─ 可能存在 → 查 Redis → 查 DB
- 系统启动/数据新增时,把所有合法 id 加入过滤器。
- 新增数据要同步加入;删除数据无法移除,靠重建或计数版。
优缺点
- 优点:空间效率极高(省几十倍内存)、查询 O(k) 与数据量无关、不漏判。
- 缺点:有误判率、标准版不支持删除、需预估数据量(超预期误判率上升)。
实现选择
| 方案 | 说明 |
|---|---|
Redisson RBloomFilter | 基于 Redis 位图,分布式可用,最常用 |
Guava BloomFilter | 单机内存版,简单但不可分布式共享 |
Redis 原生 SETBIT/GETBIT | 灵活但要自己算哈希 |
六、哈希 = 取余?(布隆过滤器里的哈希)
可以初步理解为取余,但取余只是哈希的最后一步「压缩」,不是哈希的全部。
- 哈希 ≠ 取余:哈希 = 「把任意数据打散成均匀分布的整数」(核心)+「压缩到有限范围」(常靠取余)。
- 布隆过滤器里:
h(x) = hash(x) % m,其中hash(x)负责打散、% m负责映射到 m 个位上。 - 如果直接对原始数据取余,分布可能很差(如 m=10 但 key 全是偶数,只会落在 0,2,4,6,8)。好的哈希先打散。
- 2 的幂做长度:
m取 2 的幂可用hash & (m-1)替代% m更快,但要求哈希函数低位分布均匀——这也是 HashMap 要对 hashCode 做扰动的原因。
七、生产实践建议
- 缓存空值 + 随机 TTL 作为基础防线,成本低效果好。
- 布隆过滤器 用于明确会被大量无效查询的场景(如商品 ID 爬虫)。
- 互斥锁 只对热点数据用,避免所有查询加锁影响性能。
- 逻辑过期 方案适合极致热点。
- 监控:关注缓存命中率、数据库 QPS 突增告警。
相关笔记
- 数据库,同步连接池 vs 异步连接池 — 连接的并发管理
- 数据库设计-对比一张宽表和分表存储 — 数据存储设计
- DeepSeek-MLA满秩高熵应对 — 高并发/性能侧的模型层优化