Redis实现缓存

迷茫凯
283 阅读8分钟

缓存简介

缓存（Cache）是数据交换的缓冲区，是存储数据的临时地方，一般读写性能较高。

缓存主要包括：浏览器缓存、应用层缓存、数据库缓存等；

缓存的作用：

  • 降低后端负载
  • 提高读写效率，降低响应时间

缓存的成本：

  • 数据一致性成本
  • 代码维护成本
  • 运维成本

添加Redis缓存

缓存更新策略.png

1、请求命中Redis缓存，直接返回；
2、请求未命中缓存，读取数据库；
3、将数据写入Redis缓存，同时返回信息；

缓存更新策略

为解决缓存不一致问题，需要采取缓存更新策略

内存淘汰超时剔除主动更新
说明不用自己维护，利用Redis的内存淘汰机制，当内存不足时自动淘汰部分数据。下次查询时再更新缓存给缓存数据加TTL，到期自动删除缓存，下次查询时更新缓存编写业务逻辑，在修改数据库的同时，更新缓存
一致性差一般好
维护成本无低高

业务场景：

  • 低一致性需求：使用内存淘汰
  • 高一致性需求：主动更新，并以超时剔除作为兜底方案。

主动更新策略

方案：

1、Cache Aside Pattern
由缓存的调用者，在更新数据库的同时更新缓存。

2、Read/Write Through Pattern
缓存和数据库整合为一个服务，由服务来维护一致性。调用者调用该服务，无需关心缓存一致性问题。

3、Write Behind Caching Pattern
调用者只操作缓存，由其它线程异步的将缓存数据持久化到数据库，保证最终一致性。

企业一般使用方案一。

操作缓存和数据库时有三个问题需要考虑：

  1. 删除缓存还是更新缓存？

    • 更新缓存：每次更新数据库都更新缓存，无效写操作较多 ❌
    • 删除缓存：更新数据库时让缓存失效，查询时再更新缓存 ✅

  2. 如何保证缓存与数据库的操作同时成功和失败？

    • 单体系统，将缓存和数据库操作放在一个事务中
    • 分布式系统，利用TTC等分布式事务方案

  3. 先操作缓存还是先操作数据库？

    • 先删除缓存，再操作数据库 ❌
    • 先操作数据库，再删除缓存 ✅

保证双写一致性方案：

1、保证缓存的可用性和最终一致性，可以使用缓存延时双删

伪代码：

//延时双删
void delayDoubleDel(){
    //删除缓存旧值
    delCache(key);
    //更新数据库新值
    updateDb(data);
    //延时一段时间
    sleep(delay_time);
    //再次执行删除缓存
    delCache(key);
}

可以预见的是，延时双删存在脏数据风险

2、采用redisson读写锁保证强一致性

3、采用异步通知保证数据的最终一致性

  • 使用MQ中间件，更新数据后，通知缓存删除
  • 利用canal中间件，伪装成mysql节点，读取binlog数据更新缓存

总结

缓存更新策略的最佳实践方案：

  1. 低一致性需求：使用内存淘汰
  2. 高一致性需求：主动更新，并以超时剔除作为兜底方案。
    • 读操作：
      • 缓存命中直接返回
      • 缓存未命中则查询数据库，并写入缓存，设定超时时间
    • 写操作：
      • 先写数据库，然后再删除缓存
      • 要确保数据库与缓存操作的原子性（事务）

缓存穿透

缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在，这样缓存永远不会失效，这些请求都会打到数据库。

常见解决方案：

  1. 缓存空对象

    • 对查询结果为null的数据进行缓存，设定短时限，例如30-60秒，最高5分钟
    • 缺点：
      • 额外的内存消耗
      • 可能造成短期的不一致

  2. 白名单策略

    • 提前预热各种分类数据id对应的bitmaps，id作为bitmaps的offset，相当于设置了数据白名单。当加载正常数据时，放行，加载异常数据时直接拦截（效率偏低）
    • 使用布隆过滤器

缓存加布隆过滤器.png

总结

缓存穿透产生的原因是什么？

  • 用户请求的数据在缓存中和数据库中都不存在，不断发起这样的请求，给数据库带来巨大压力

缓存穿透的解决方案有哪些？

  • 缓存null值
  • 布隆过滤
  • 增强id的复杂度，避免被猜测id规律
  • 做好数据的基础格式校验
  • 加强用户权限校验
  • 做好热点参数的限流

缓存雪崩

缓存雪崩是指在同一时刻大量的缓存key同时失效或者Redis服务宕机，导致大量请求到达数据库，带来巨大压力

解决方案：

  • 给不同的Key的TTL添加随机值
  • 利用Redis集群提高服务的可用性
  • 给缓存业务添加降级限流策略
  • 给业务添加多级缓存

缓存击穿

缓存击穿问题也叫热点Key问题，就是一个被高并发访问并且缓存重建业务较复杂的key突然失效了，无数的请求访问会在瞬间给数据库带来巨大的冲击。

常见的解决方案有两种：

  • 互斥锁
  • 逻辑过期

方案一、使用互斥锁

因为锁能实现互斥性。假设线程过来，只能一个人一个人的来访问数据库，从而避免对于数据库访问压力过大，但这也会影响查询的性能，因为此时会让查询的性能从并行变成了串行，我们可以采用tryLock方法 + double check来解决这样的问题。

假设现在线程1过来访问，他查询缓存没有命中，但是此时他获得到了锁的资源，那么线程1就会一个人去执行逻辑，假设现在线程2过来，线程2在执行过程中，并没有获得到锁，那么线程2就可以进行到休眠，直到线程1把锁释放后，线程2获得到锁，然后再来执行逻辑，此时就能够从缓存中拿到数据了。

1653328288627.png

方案二、逻辑过期

方案分析：之所以会出现这个缓存击穿问题，主要原因是在于我们对key设置了过期时间，假设我们不设置过期时间，其实就不会有缓存击穿的问题，但是不设置过期时间，这样数据不就一直占用我们内存了吗，我们可以采用逻辑过期方案。

我们把过期时间设置在redis的value中，注意：这个过期时间并不会直接作用于redis，而是我们后续通过逻辑去处理。假设线程1去查询缓存，然后从value中判断出来当前的数据已经过期了，此时线程1去获得互斥锁，那么其他线程会进行阻塞，获得了锁的线程他会开启一个 线程去进行 以前的重构数据的逻辑，直到新开的线程完成这个逻辑后，才释放锁， 而线程1直接进行返回，假设现在线程3过来访问，由于线程线程2持有着锁，所以线程3无法获得锁，线程3也直接返回数据，只有等到新开的线程2把重建数据构建完后，其他线程才能走返回正确的数据。

这种方案巧妙在于，异步的构建缓存，缺点在于在构建完缓存之前，返回的都是脏数据。

1653328663897.png

方案对比

解决方案优点缺点
互斥锁没有额外的内存消耗
保证一致性
实现简单		线程需要等待，性能受影响
可能有死锁风险
逻辑过期线程无需等待，性能较好不保证一致性
有额外内存消耗
实现复杂

Redis缓存工具类

@Component
public class CacheClient {
    private final StringRedisTemplate stringRedisTemplate;

    public CacheClient(StringRedisTemplate stringRedisTemplate) {
        this.stringRedisTemplate = stringRedisTemplate;
    }

    public void set(String key, Object value, Long time, TimeUnit unit) {
        String jsonStr = JSONUtil.toJsonStr(value);
        stringRedisTemplate.opsForValue().set(key, jsonStr, time, unit);
    }

    public void setWithLogicalExpire(String key, Object value, Long time, TimeUnit unit) {
        //设置逻辑过期
        RedisData redisData = new RedisData();
        redisData.setData(value);
        redisData.setExpireTime(LocalDateTime.now().plusSeconds(unit.toSeconds(time)));
        //写入redis
        stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(redisData));
    }

    /**
     * 设置空值解决缓存穿透问题
     *
     * @param keyPrefix
     * @param id
     * @param type
     * @param dbFallBack
     * @param time
     * @param unit
     * @param <R>
     * @param <ID>
     * @return
     */
    public <R, ID> R queryWithPassThrough(
            String keyPrefix, ID id, Class<R> type, Function<ID, R> dbFallBack, Long time, TimeUnit unit) {
        String key = keyPrefix + id;
        //1.从redis查询商铺缓存
        String json = stringRedisTemplate.opsForValue().get(key);
        //2.判断是否存在
        if (StrUtil.isNotBlank(json)) {
            //3.存在，直接返回
            return JSONUtil.toBean(json, type);
        }
        //判断是否命中空值
        if (json != null) {
            return null;
        }
        //4.不存在，根据id查询数据库
        R r = dbFallBack.apply(id);
        //5.不存在，写入空值（解决缓存穿透），返回错误
        if (r == null) {
            //将空值写入redis
            stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);
            return null;
        }
        //6.存在，写入redis,加超时剔除
        this.set(key, r, time, unit);
        //7.返回
        return r;
    }

    private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);

    public <R, ID> R queryWithLogicalExpire(String keyPrefix, ID id, Class<R> type, Function<ID, R> dbFallBack, Long time, TimeUnit unit) {
        String key = keyPrefix + id;
        //1.从redis查询缓存
        String json = stringRedisTemplate.opsForValue().get(key);
        //2.判断是否存在
        if (StrUtil.isBlank(json)) {
            //3.不存在，直接返回
            return null;
        }
        //4.命中，需要先把json反序列化为对象
        RedisData redisData = JSONUtil.toBean(json, RedisData.class);
        JSONObject data = (JSONObject) redisData.getData();
        R r = JSONUtil.toBean(data, type);
        LocalDateTime expireTime = redisData.getExpireTime();
        //5.判断是否过期
        if (expireTime.isAfter(LocalDateTime.now())) {
            //5.1未过期，直接返回店铺信息
            return r;
        }
        //5.2已过期，需要缓存重建
        //6.缓存重建
        //6.1获取互斥锁
        String lockKey = RedisConstants.LOCK_SHOP_KEY + id;
        boolean isLock = tryLock(lockKey);
        //6.2判断是否获取锁成功
        if (isLock) {
            //6.3成功，开启独立子线程，实现缓存重建
            CACHE_REBUILD_EXECUTOR.submit(() -> {
                try {
                    //查询数据库
                    R r1 = dbFallBack.apply(id);
                    //写入redis
                    this.setWithLogicalExpire(key, r1, time, unit);
                } catch (Exception e) {
                    throw new RuntimeException(e);
                } finally {
                    //释放锁
                    unlock(lockKey);
                }
            });
        }
        //6.4返回过期的商铺信息
        return r;
    }

    private boolean tryLock(String lockKey) {
        Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(lockKey, "1", 10, TimeUnit.SECONDS);
        return BooleanUtil.isTrue(flag);
    }

    private void unlock(String lockKey) {
        stringRedisTemplate.delete(lockKey);
    }
}
avatar
文章
阅读
粉丝