Redis 和 Memcached 区别

数据类型支持

数据持久化支持

Redis 虽然是基于内存的存储系统，但是它本身是支持内存数据的持久化的，而且提供两种主要的持久化策略：RDB 快照和 AOF 日志。而 memcached 是不支持数据持久化操作的。

1）RDB 快照

Redis 支持将当前数据的快照存成一个数据文件的持久化机制，即 RDB 快照。但是一个持续写入的数据库如何生成快照呢？Redis 借助了 fork 命令的 copy on write 机制。在生成快照时，将当前进程 fork 出一个子进程，然后在子进程中循环所有的数据，将数据写成为 RDB 文件。我们可以通过 Redis 的 save 指令来配置 RDB 快照生成的时机，比如配置 10 分钟就生成快照，也可以配置有 1000 次写入就生成快照，也可以多个规则一起实施。这些规则的定义就在 Redis 的配置文件中，你也可以通过 Redis 的 CONFIG SET 命令在 Redis 运行时设置规则，不需要重启 Redis。

Redis 的 RDB 文件不会坏掉，因为其写操作是在一个新进程中进行的，当生成一个新的 RDB 文件时，Redis 生成的子进程会先将数据写到一个临时文件中，然后通过原子性 rename 系统调用将临时文件重命名为 RDB 文件，这样在任何时候出现故障，Redis 的 RDB 文件都总是可用的。同时，Redis 的 RDB 文件也是 Redis 主从同步内部实现中的一环。RDB 有他的不足，就是一旦数据库出现问题，那么我们的 RDB 文件中保存的数据并不是全新的，从上次 RDB 文件生成到 Redis 停机这段时间的数据全部丢掉了。在某些业务下，这是可以忍受的。

2）AOF 日志

AOF 日志的全称是 append only file，它是一个追加写入的日志文件。与一般数据库的 binlog 不同的是，AOF 文件是可识别的纯文本，它的内容就是一个个的 Redis 标准命令。只有那些会导致数据发生修改的命令才会追加到 AOF 文件。每一条修改数据的命令都生成一条日志，AOF 文件会越来越大，所以 Redis 又提供了一个功能，叫做 AOF rewrite。其功能就是重新生成一份 AOF 文件，新的 AOF 文件中一条记录的操作只会有一次，而不像一份老文件那样，可能记录了对同一个值的多次操作。其生成过程和 RDB 类似，也是 fork 一个进程，直接遍历数据，写入新的 AOF 临时文件。在写入新文件的过程中，所有的写操作日志还是会写到原来老的 AOF 文件中，同时还会记录在内存缓冲区中。当重完操作完成后，会将所有缓冲区中的日志一次性写入到临时文件中。然后调用原子性的 rename 命令用新的 AOF 文件取代老的 AOF 文件。

AOF 是一个写文件操作，其目的是将操作日志写到磁盘上，所以它也同样会遇到我们上面说的写操作的流程。在 Redis 中对 AOF 调用 write 写入后，通过 appendfsync 选项来控制调用 fsync 将其写到磁盘上的时间，下面 appendfsync 的三个设置项，安全强度逐渐变强。

appendfsync no 当设置 appendfsync 为 no 的时候，Redis 不会主动调用 fsync 去将 AOF 日志内容同步到磁盘，所以这一切就完全依赖于操作系统的调试了。对大多数 Linux 操作系统，是每 30 秒进行一次 fsync，将缓冲区中的数据写到磁盘上。

appendfsync everysec 当设置 appendfsync 为 everysec 的时候，Redis 会默认每隔一秒进行一次 fsync 调用，将缓冲区中的数据写到磁盘。但是当这一次的 fsync 调用时长超过 1 秒时。Redis 会采取延迟 fsync 的策略，再等一秒钟。也就是在两秒后再进行 fsync，这一次的 fsync 就不管会执行多长时间都会进行。这时候由于在 fsync 时文件描述符会被阻塞，所以当前的写操作就会阻塞。所以结论就是，在绝大多数情况下，Redis 会每隔一秒进行一次 fsync。在最坏的情况下，两秒钟会进行一次 fsync 操作。这一操作在大多数数据库系统中被称为 group commit，就是组合多次写操作的数据，一次性将日志写到磁盘。

appednfsync always 当设置 appendfsync 为 always 时，每一次写操作都会调用一次 fsync，这时数据是最安全的，当然，由于每次都会执行 fsync，所以其性能也会受到影响。

对于一般性的业务需求，建议使用 RDB 的方式进行持久化，原因是 RDB 的开销并相比 AOF 日志要低很多，对于那些无法忍数据丢失的应用，建议使用 AOF 日志。

内存管理机制

在 Redis 中，并不是所有的数据都一直存储在内存中的。这是和 Memcached 相比一个最大的区别。当物理内存用完时，Redis 可以将一些很久没用到的 value 交换到磁盘。Redis 只会缓存所有的 key 的信息，如果 Redis 发现内存的使用量超过了某一个阀值，将触发 swap 的操作，Redis 根据 “swappability = age*log(size_in_memory)” 计算出哪些 key 对应的 value 需要 swap 到磁盘。然后再将这些 key 对应的 value 持久化到磁盘中，同时在内存中清除。这种特性使得 Redis 可以保持超过其机器本身内存大小的数据。当然，机器本身的内存必须要能够保持所有的 key，毕竟这些数据是不会进行 swap 操作的。同时由于 Redis 将内存中的数据 swap 到磁盘中的时候，提供服务的主线程和进行 swap 操作的子线程会共享这部分内存，所以如果更新需要 swap 的数据，Redis 将阻塞这个操作，直到子线程完成 swap 操作后才可以进行修改。当从 Redis 中读取数据的时候，如果读取的 key 对应的 value 不在内存中，那么 Redis 就需要从 swap 文件中加载相应数据，然后再返回给请求方。 这里就存在一个 I/O 线程池的问题。在默认的情况下，Redis 会出现阻塞，即完成所有的 swap 文件加载后才会相应。这种策略在客户端的数量较小，进行批量操作的时候比较合适。但是如果将 Redis 应用在一个大型的网站应用程序中，这显然是无法满足大并发的情况的。所以 Redis 运行我们设置 I/O 线程池的大小，对需要从 swap 文件中加载相应数据的读取请求进行并发操作，减少阻塞的时间。

Memcached 默认使用 Slab Allocation机制管理内存，其主要思想是按照预先规定的大小，将分配的内存分割成特定长度的块以存储相应长度的 key-value 数据记录，以完全解决内存碎片问题。Slab Allocation机制只为存储外部数据而设计，也就是说所有的key-value数据都存储在 Slab Allocation 系统里，而 Memcached的其它内存请求则通过普通的malloc/free来申请，因为这些请求的数量和频率决定了它们不会对整个系统的性能造成影响 Slab Allocation 的原理相当简单。

对于像 Redis 和 Memcached 这种基于内存的数据库系统来说，内存管理的效率高低是影响系统性能的关键因素。传统 C 语言中的 malloc/free 函数是最常用的分配和释放内存的方法，但是这种方法存在着很大的缺陷：首先，对于开发人员来说不匹配的 malloc 和 free 容易造成内存泄露；其次频繁调用会造成大量内存碎片无法回收重新利用，降低内存利用率；最后作为系统调用，其系统开销远远大于一般函数调用。所以，为了提高内存的管理效率，高效的内存管理方案都不会直接使用 malloc/free 调用。Redis 和 Memcached 均使用了自身设计的内存管理机制，但是实现方法存在很大的差异，下面将会对两者的内存管理机制分别进行介绍。

集群管理机制

Memcached 本身并不支持分布式，因此只能在客户端通过像一致性哈希这样的分布式算法来实现 Memcached 的分布式存储。下图给出了 Memcached 的分布式存储实现架构。当客户端向 Memcached 集群发送数据之前，首先会通过内置的分布式算法计算出该条数据的目标节点，然后数据会直接发送到该节点上存储。但客户端查询数据时，同样要计算出查询数据所在的节点，然后直接向该节点发送查询请求以获取数据。

Redis 已经支持了分布式存储功能。Redis Cluster 是一个实现了分布式且允许单点故障的 Redis 高级版本，它没有中心节点，具有线性可伸缩的功能。下图给出 Redis Cluster 的分布式存储架构，其中节点与节点之间通过二进制协议进行通信，节点与客户端之间通过 ascii 协议进行通信。在数据的放置策略上，Redis Cluster 将整个 key 的数值域分成 4096 个哈希槽，每个节点上可以存储一个或多个哈希槽，也就是说当前 Redis Cluster 支持的最大节点数就是 4096。Redis Cluster 使用的分布式算法也很简单：crc16(key) % HASH_SLOTS_NUMBER。