涛涛实习记录

1. 背景说明 在实习过程中要过滤黑名单用户，首先第一个想到的是 set，但是内存不足了，然后想到布隆过滤器，但是布隆过滤器会有误判率，因为它也是基于 hash 函数的，不同用户 id 可能会生成同一

其实这种导入优化有点老生常谈了，感觉核心就两个： 1：大数据分批处理（分治） 2：充分利用线程池来多线程处理，比如我遇到的解析 excle，然后校验词条，然后批量导入，这里每一步都可以用多线程。

1. 背景描述： 黑名单词库原来存储在服务器内存中，需要将词库迁移到 redis 中。然后希望优化词库的匹配算法。 2. 原来的词库存储格式： 这是一个二级索引字典的 存储方式，在匹配黑名单词的时候，

实习的时候遇到一个问题，运维反馈频繁的使用置顶功能导致数据库CPU使用率过高。 然后仔细了解后发现很有意思，就是一个后台帖子列表，要实现上移，下移，置顶的功能。 然后置顶的时候是怎么操作的呢？

redis大key的定义，引发的问题，产生的原因。 以及实习中具体遇到的治理方式，其实主要也是做了拆分。