缓存

缓存更新策略

• 内存淘汰：redis自动进行，当redis内存达到设定的max-memery的时候，会自动触发淘汰机制，淘汰掉一些不重要的数据 (可以自己在配置文件设置策略方式和max-memery)
• 超时剔除：当我们给redis设置了过期时间ttl之后，redis会将超时的数据进行删除
• 主动更新：手动调用方法把缓存删掉，通常用于解决缓存和数据库不一致问题

业务场景：

• 低一致性：使用内存淘汰，例如店铺类型的查询缓存
• 高一致性：主动更新，并结合超时剔除，例如店铺详情的查询缓存

数据库与缓存不一致

1.原因

由于的缓存的数据源来自于数据库,而数据库的数据是会发生变化的,因此,如果当数据库中数据发生变化,而缓存却没有同步,此时就会有一致性问题存在

2.解决方案

1. Cache Aside Pattern 人工编码方式：缓存调用者在更新完数据库后再去更新缓存
2. Read/Write Through Pattern : 数据库与缓存之间整合为一个服务，调用者只需调用该服务
3. Write Behind Caching Pattern ：调用者只操作缓存，其他线程去异步处理数据库，实现最终一致

这3种方案本质上都是主动更新，第2种的话维护这种服务困难，市面上的这种服务也挺难找，第三种一致性和可靠性难以得到保证，综上选择第一种方案

删除缓存还是更新缓存？

• 每次更新数据库都更新缓存，无效写操作较多
• 更新数据库时让缓存失效，查询时再更新缓存 √

如何保证缓存与数据库的操作的同时成功或失败？

• 单体系统，将缓存与数据库操作放在一个事务（这里没有用微服务） √
• 分布式系统，利用TCC等分布式事务方案

先操作缓存还是先操作数据库？

• 先删除缓存，再操作数据库
• 先操作数据库，再删除缓存 √

选第一种的话，在多个线程并发来访问时，假设线程1先来，他先把缓存删了，此时线程2过来，他查询缓存数据并不存在，此时他查数据库写入缓存，当他写入缓存后，线程1再执行更新动作时，实际上写入的就是旧的数据，新的数据被旧数据覆盖了。

当然第二种也会有缓存和数据库数据不一致的情况，但是相对来讲概率小很多，因为查数据要比更新数据快的多

二者不一致的示意图

3.实现店铺详情的缓存与数据库一致

分析：高一致性需求

查询店铺代码如下

//查询
public Result queryById(Long id){
    //1.从redis查询缓存
    String shopShop = stringRedisTemplate.opsForValue().get(key);
    //2.判断是否存在
    if(StringUtil.isNotBlank(shopShop)) {
        //3.存在，直接返回
        Shop shop = Json.toBean(shopShop, Shop.class);
        return Result.ok(shop);
    }
    //4.不存在，根据id查数据库
    Shop shop = this.getById(id);
    //5.不存在，返回错误
    if(shop == null) {
        return Result.fail("店铺不存在");
    }
    //6.存在，写入redis
    stringRedisTemplate.opsForValue().set(key, StringUtil.toJsonStr(shop), 30, TimeUnit.MINUTES);
    return Result.ok(shop);
}
//修改
@Transactional
public Result update(Shop shop){
    Long id = shop.getId();
    if(id == null) {
        return Result.fail("店铺不存在");
    }
    //1.更新数据库
    thid.updateById(id);
    //2.删除缓存
    stringRedisTemplate.delete(key);
    return Result.ok();
}

缓存穿透

原因：缓存和数据库都不存在数据，缓存永远不会生效，请求全都打到数据库

1.解决方案

缓存空对象 ""

• 优点：实现简单，维护方便
• 缺点：
  • 额外的内存消耗
  • 可能造成短期的不一致

布隆过滤

能知道redis和数据库到底有没有数据

• 优点：内存占用较少，没有多余key
• 缺点
  • 实现复杂
  • 存在误判可能

以上两种解决方案都是被动解决，也可以主动避免缓存穿透，如：

• 增强id的复杂度，避免被猜测id规律
• 做好数据的基础格式校验
• 加强用户权限校验
• 做好热点参数的限流

2.实现商品查询的缓存穿透问题

采取缓存空对象 ""

public Shop queryWithPassThrough(Long id){
    //1.从redis查询商铺缓存
    String shopJson = stringRedisTemplate.opsForValue().get(key);
    //2.判断是否存在
    if (StrUtil.isNotBlank(shopJson)) {
        //3.存在，直接返回
        Shop shop = JSONUtil.toBean(shopJson, Shop.class);
        return shop;
    }
    //判断命中的是否是空值 ""
    if (shopJson != null) { //这里shopJson要么是null，要么是""
        //是""，说明有缓存空对象
        return null;
    }
    //4.不存在，根据id查询数据库
    Shop shop = this.getById(id);
    //5.不存在，返回错误
    if (shop == null){
        stringRedisTemplate.opsForValue().set(key, "", 2, TimeUnit.MINUTES);
        return null;
    }
    //6.存在，写入redis
    stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(shop), 30, TimeUnit.MINUTES);
    return shop;
}

缓存击穿（热点key）

原因：高并发时key突然失效，无数请求瞬间打到数据库

1.解决方案

互斥锁

锁能实现互斥性。假设线程过来，只能一个人一个人的来访问数据库，从而避免对于数据库访问压力过大，但这也会影响查询的性能，因为此时会让查询的性能从并行变成了串行，我们可以采用tryLock方法.

假设现在线程1过来访问，他查询缓存没有命中，但是此时他获得到了锁的资源，那么线程1就会一个人去执行逻辑，假设现在线程2过来，线程2在执行过程中，并没有获得到锁，那么线程2就可以进行到休眠，直到线程1把锁释放后，线程2获得到锁，然后再来执行逻辑，此时就能够从缓存中拿到数据了。

//获取锁
private boolean tryLock(String key){
    Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", 10, TimeUnit.SECONDS);
    return BooleanUtil.isTrue(flag);
}
//释放锁
private void unlock(String key){
    stringRedisTemplate.delete(key);
}
public Shop queryWithMutex(Long id){
    //1.从redis查询商铺缓存
    String shopJson = stringRedisTemplate.opsForValue().get(key);
    //2.判断是否存在
    if (StrUtil.isNotBlank(shopJson)) {
        //3.存在，直接返回
        Shop shop = JSONUtil.toBean(shopJson, Shop.class);
        return shop;
    }
    //判断命中的是否是空值 ""
    if (shopJson != null) { //这里shopJson要么是null，要么是""
        //是""，说明有缓存空对象
        return null;
    }
    //4.实现缓存重建
    //4.1 获取互斥锁
    String lockKey = "lock:shop:" + id;
    Shop shop = null;
    try {
        boolean isLock = tryLock(lockKey);
        //4.2 判断是否获取成功
        if ( !isLock){
            //4.3 失败，则休眠并重试
            Thread.sleep(50);
            return queryWithMutex(id); //递归实现循环重试
        }
        //获取锁成功，检查redis缓存是否存在，
        //两次检查，避免线程2在第一步和第二步之间刚好拿到锁,
        //从而重复查询数据库，详情见示意图
        if (StrUtil.isNotBlank(shopJson)) {
            //存在，直接返回
            shop = JSONUtil.toBean(shopJson, Shop.class);
            return shop;
        }
        //4.4 成功，根据id查询数据库
        shop = this.getById(id);
        Thread.sleep(200);//模拟查询数据库的延迟
        //5.不存在，返回错误
        if (shop == null){
            stringRedisTemplate.opsForValue().set(key, "", 2, TimeUnit.MINUTES);
            return null;
        }
        //6.存在，写入redis
        stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(shop), 30, TimeUnit.MINUTES);
    } catch (InterruptedException e) {
        throw new RuntimeException(e);
    } finally {
        //7.释放互斥锁
        unlock(lockKey);
    }

    //8.返回
    return shop;

逻辑过期

把过期时间设置在 redis的value中，注意：这个过期时间并不会直接作用于redis，而是我们后续通过逻辑去处理。假设线程1去查询缓存，然后从value中判断出来当前的数据已经过期了，此时线程1去获得互斥锁，那么其他线程会进行阻塞，获得了锁的线程他会开启一个新线程去进行 以前的重构数据的逻辑，直到新开的线程完成这个逻辑后，才释放锁， 而线程1直接进行返回，假设现在线程3过来访问，由于线程线程2持有着锁，所以线程3无法获得锁，线程3也直接返回数据，只有等到新开的线程2把重建数据构建完后，其他线程才能走返回正确的数据。

这种方案巧妙在于，异步的构建缓存，缺点在于在构建完缓存之前，返回的都是脏数据。

public class RedisData {
    private LocalDateTime expireTime; //逻辑过期时间
    private Object data; //存储数据
}

//模拟提前将数据写入缓存
public void savaShopToRedis(Long id, Long expireSeconds) throws InterruptedException {
    //1.查询店铺数据
    Shop shop = this.getById(id);
    Thread.sleep(200); //模拟查数据库时的延迟
    //2.封装逻辑过期时间
    RedisData redisData = new RedisData();
    redisData.setData(shop);
    redisData.setExpireTime(LocalDateTime.now().plusSeconds(expireSeconds));
    //3.写入redis
    stringRedisTemplate.opsForValue().set(CACHE_SHOP_KEY + id, JSONUtil.toJsonStr(redisData));
}

//线程池
private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);

public Shop queryWithLogicExpire(Long id){
    String key = CACHE_SHOP_KEY + id;
    //1.从redis查询商铺缓存
    String shopJson = stringRedisTemplate.opsForValue().get(key);
    //2.判断是否存在
    if (StrUtil.isBlank(shopJson)) {
        //3.未命中，直接返回，因为缓存里面一定有数据
        return null;
    }
    //4.命中，需要把json反序列化为对象
    RedisData redisData = JSONUtil.toBean(shopJson, RedisData.class);
    JSONObject data = (JSONObject) redisData.getData(); //redisData里面定义的data是Object类型，只能强转为JSONObject
    Shop shop = JSONUtil.toBean(data, Shop.class);
    LocalDateTime expireTime = redisData.getExpireTime();
    //5.判断是否过期
    if (expireTime.isAfter(LocalDateTime.now())) {
        //5.1 未过期，直接返回商铺信息
        return shop;
    }
    //5.2 已过期，需要重建缓存
    //6.1 获取互斥锁
    String lockKey = LOCK_SHOP_KEY + id;
    boolean isLock = tryLock(lockKey);
    //6.2 判断是否获取锁成功
    if (isLock) {
        //6.3 两次检查缓存是否过期，避免线程3在第一步和第二步之间拿到拿到锁，
        //从而重复查询数据库，详情见示意图
        if (expireTime.isAfter(LocalDateTime.now())){
            unlock(lockKey);
            return shop;
        }
        //6.4 确定拿到的是已过期的数据,开启独立线程，实现缓存重建
        CACHE_REBUILD_EXECUTOR.submit( () -> {
            try {
                //更新缓存逻辑过期时间
                this.savaShopToRedis(id, 20L);
            } catch (Exception e) {
                throw new RuntimeException(e);
            } finally {
                //释放锁
                unlock(lockKey);
            }
        });
    }
    //6.5 返回过期的商铺信息
    return shop;

2.二者对比

封装Redis工具类

重点在于封装思想，用到泛型，函数式接口及Lambda表达式

1.将任意Java对象序列化为json并存储在string类型的key中，并且可以设置TTL过期时间

public void set(String key, Object value, Long time, TimeUnit unit){
    stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value), time, unit);
}

2.将任意Java对象序列化为json并存储在string类型的key中，并且可以设置逻辑过期时间，用于处理缓存击穿问题

public void setWithLogicalExpire(String key, Object value, Long time, TimeUnit unit){
    //设置逻辑过期
    RedisData redisData = new RedisData();
    redisData.setData(value);
    redisData.setExpireTime(LocalDateTime.now().plusSeconds(unit.toSeconds(time)));
    //写入redis
    stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(redisData));
}

3.根据指定的key查询缓存，并反序列化为指定类型，利用缓存空值的方式解决缓存穿透问题

public <R, ID> R queryWithPenetrate(
        String keyPrefix, ID id, Class<R> type, Function<ID, R> dbFallback, Long time, TimeUnit unit){
    String key = CACHE_SHOP_KEY + id;
    //1.从redis查询
    String json = stringRedisTemplate.opsForValue().get(key);
    //2.判断是否存在
    if (StrUtil.isNotBlank(json)) {
        //3.存在，直接返回
        return JSONUtil.toBean(json, type);
    }
    //判断命中的是否是空值 ""
    if (json != null) { //这里shopJson要么是null，要么是""
        //是""，说明有缓存空对象
        return null;
    }
    //4.不存在，根据id查询数据库
    R r = dbFallback.apply(id);
    //5.不存在，返回错误
    if (r == null){
        stringRedisTemplate.opsForValue().set(key, "", CACHE_NULL_TTL, TimeUnit.MINUTES);
        return null;
    }
    //6.存在，写入redis
    this.set(key, r, time, unit);
    //7.返回
    return r;
}

4.根据指定的key查询缓存，并反序列化为指定类型，需要利用逻辑过期解决缓存击穿问题

public <R, ID> R queryWithLogicExpire(
        String keypreFix, ID id, Class<R> type, Function<ID, R> dbFallback,Long time, TimeUnit unit){
    String key = keypreFix + id;
    //1.从redis查询
    String json = stringRedisTemplate.opsForValue().get(key);
    //2.判断是否存在
    if (StrUtil.isBlank(json)) {
        //3.未命中，直接返回，因为缓存里面一定有数据
        return null;
    }
    //4.命中，需要把json反序列化为对象
    RedisData redisData = JSONUtil.toBean(json, RedisData.class);
    JSONObject data = (JSONObject) redisData.getData(); //redisData里面定义的data是Object类型，只能强转为JSONObject
    R r  = JSONUtil.toBean(data, type);
    LocalDateTime expireTime = redisData.getExpireTime();
    //5.判断是否过期
    if (expireTime.isAfter(LocalDateTime.now())) {
        //5.1 未过期，直接返回商铺信息
        return r;
    }
    //5.2 已过期，需要重建缓存
    //6.1 获取互斥锁
    String lockKey = LOCK_SHOP_KEY + id;
    boolean isLock = tryLock(lockKey);
    //6.2 判断是否获取锁成功
    if (isLock) {
        //6.3 两次检查缓存是否过期，避免线程3在第一步和第二步之间拿到拿到锁，从而重复查询数据库，详情见示意图
        if (expireTime.isAfter(LocalDateTime.now())){
            unlock(lockKey);
            return r;
        }
        //6.4 确定拿到的是已过期的数据,开启独立线程，实现缓存重建
        CACHE_REBUILD_EXECUTOR.submit( () -> {
            try {
                //查询数据库
                R r1 = dbFallback.apply(id);
                //写入缓存
                this.setWithLogicalExpire(key,r1, time, unit);
            } catch (Exception e) {
                throw new RuntimeException(e);
            } finally {
                //释放锁
                unlock(lockKey);
            }
        });
    }
    //6.5 返回过期的商铺信息
    return r;
}

//获取锁
private boolean tryLock(String key){
    Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", 10, TimeUnit.SECONDS);
    return BooleanUtil.isTrue(flag);
}
//释放锁
private void unlock(String key){
    stringRedisTemplate.delete(key);
}
//线程池
private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);

缓存雪崩

原因：同一时段大量的缓存key同时失效或者redis服务宕机。等后面学了微服务再解决。