XL来
学生
获得徽章 1
赞了这篇文章
#青训营笔记创作活动#
1月23日 打卡 Day47
、RDB（Redis DataBase）持久化
RDB 是 Redis 中默认的持久化机制，按照一定的时间将内存中的数据以快照的方式保存到磁盘中，它会产生一个特殊类型的文件 .rdb 文件，同时可以通过配置文件中的 save 参数来定义快照的周期
在 RDB 中有两个核心概念 fork 和 cow，在执行备份的流程如下：
在执行bgsave的时候，Redis 会 fork 主进程得到一个新的子进程，子进程是共享主进程内存数据的，会将数据写到磁盘上的一个临时的 .rdb 文件中，当子进程写完临时文件后，会将原来的 .rdb 文件替换掉，这个就是 fork 的概念。那 cow 全称是 copy-on-write ，当主进程执行读操作的时候是访问共享内存的，而主进程执行写操作的时候，则会拷贝一份数据，执行写操作。
优点
只有一个文件 dump.rdb ，方便持久化
容错性好，一个文件可以保存到安全的磁盘
实现了性能最大化，fork 单独子进程来完成持久化，让主进程继续处理命令，主进程不进行任何 I/O 操作，从而保证了Redis的高性能
RDB 是一个紧凑压缩的二进制文化，RDB重启时的加载效率比AOF持久化更高，在数据量大时更明显
缺点
可能出现数据丢失，在两次RDB持久化的时间间隔中，如果出现宕机，则会丢失这段时间中的数据
由于RDB是通过fork子进程来协助完成数据持久化，如果当数据集较大时，可能会导致整个服务器间歇性暂停服务
1月23日 打卡 Day47
、RDB（Redis DataBase）持久化
RDB 是 Redis 中默认的持久化机制，按照一定的时间将内存中的数据以快照的方式保存到磁盘中，它会产生一个特殊类型的文件 .rdb 文件，同时可以通过配置文件中的 save 参数来定义快照的周期
在 RDB 中有两个核心概念 fork 和 cow，在执行备份的流程如下：
在执行bgsave的时候，Redis 会 fork 主进程得到一个新的子进程，子进程是共享主进程内存数据的，会将数据写到磁盘上的一个临时的 .rdb 文件中，当子进程写完临时文件后，会将原来的 .rdb 文件替换掉，这个就是 fork 的概念。那 cow 全称是 copy-on-write ，当主进程执行读操作的时候是访问共享内存的，而主进程执行写操作的时候，则会拷贝一份数据，执行写操作。
优点
只有一个文件 dump.rdb ，方便持久化
容错性好，一个文件可以保存到安全的磁盘
实现了性能最大化，fork 单独子进程来完成持久化，让主进程继续处理命令，主进程不进行任何 I/O 操作，从而保证了Redis的高性能
RDB 是一个紧凑压缩的二进制文化，RDB重启时的加载效率比AOF持久化更高，在数据量大时更明显
缺点
可能出现数据丢失，在两次RDB持久化的时间间隔中，如果出现宕机，则会丢失这段时间中的数据
由于RDB是通过fork子进程来协助完成数据持久化，如果当数据集较大时，可能会导致整个服务器间歇性暂停服务
展开
评论
点赞
#青训营笔记创作活动#
1月22日 打卡 Day46
完全基于内存
数据结构简单，操作方便，并且不同数据结构能够应对于不同场景
采用单线程（网络请求模块使用单线程，其他模块仍用了多线程），避免了不必要的上下文切换和竞争条件，也不存在多进程或多线程切换导致CPU消耗，不需要考虑各种锁的问题。
使用多路I/O复用模型，为非阻塞I/O
Redis 本身设定了 VM 机制，没有使用 OS 的Swap，可以实现冷热数据分离，避免因为内存不足而造成访问速度下降的问题
1月22日 打卡 Day46
完全基于内存
数据结构简单，操作方便，并且不同数据结构能够应对于不同场景
采用单线程（网络请求模块使用单线程，其他模块仍用了多线程），避免了不必要的上下文切换和竞争条件，也不存在多进程或多线程切换导致CPU消耗，不需要考虑各种锁的问题。
使用多路I/O复用模型，为非阻塞I/O
Redis 本身设定了 VM 机制，没有使用 OS 的Swap，可以实现冷热数据分离，避免因为内存不足而造成访问速度下降的问题
展开
评论
点赞
#青训营笔记创作活动#
1月20日 打卡 Day45
Redis 能够用来实现分布式锁的命令有 INCR、SETNX、SET，并利用过期时间命令 expire 作为辅助
方式1：利用 INCR
如果 key 不存在，则初始化值为 0，然后再利用 INCR 进行加 1 操作。后续用户如果获取到的值大于等于 1，说明已经被其他线程加锁。当持有锁的用户在执行完任务后，利用 DECR 命令将 key 的值减 1，则表示释放锁。
方式2：利用 SETNX
先使用 setnx 来争抢锁，抢到之后利用 expire 设置一个过期时间防止未能释放锁。setnx 的意义是如果 key 不存在，则将key设置为 value，返回 1。如果已存在，则不做任何操作，返回 0。
方式3：利用 SET
set 指令有非常复杂的参数，相当于合成了 setnx 和 expire 两条命令的功能。其命令格式如：set($Key,$value, array('nx', 'ex'=>$ttl))。
1月20日 打卡 Day45
Redis 能够用来实现分布式锁的命令有 INCR、SETNX、SET，并利用过期时间命令 expire 作为辅助
方式1：利用 INCR
如果 key 不存在，则初始化值为 0，然后再利用 INCR 进行加 1 操作。后续用户如果获取到的值大于等于 1，说明已经被其他线程加锁。当持有锁的用户在执行完任务后，利用 DECR 命令将 key 的值减 1，则表示释放锁。
方式2：利用 SETNX
先使用 setnx 来争抢锁，抢到之后利用 expire 设置一个过期时间防止未能释放锁。setnx 的意义是如果 key 不存在，则将key设置为 value，返回 1。如果已存在，则不做任何操作，返回 0。
方式3：利用 SET
set 指令有非常复杂的参数，相当于合成了 setnx 和 expire 两条命令的功能。其命令格式如：set($Key,$value, array('nx', 'ex'=>$ttl))。
展开
评论
点赞
#青训营笔记创作活动#
1月19日 打卡 Day44
Redis 直接以内存的方式存储可以达到最快的读写速度，如果开启了持久化则通过异步的方式将数据写入磁盘，因此Redis 具有快速和数据持久化的特征。
在内存中操作本身就比从磁盘操作更快，且不受磁盘I/O速度的影响。如果不将数据放在内存中而是保存到磁盘，磁盘I/O速度会严重影响到Redis 的性能，而数据集大小如果达到了内存的最大限定值则不能继续插入新值。
如果打开了虚拟内存功能，当内存用尽时，Redis就会把那些不经常使用的数据存储到磁盘，如果Redis中的虚拟内存被禁了，它就会操作系统的虚拟内存（交换内存），但这时Redis的性能会急剧下降。如果配置了淘汰机制，会根据已配置的数据淘汰机制来淘汰旧数据。
1月19日 打卡 Day44
Redis 直接以内存的方式存储可以达到最快的读写速度，如果开启了持久化则通过异步的方式将数据写入磁盘，因此Redis 具有快速和数据持久化的特征。
在内存中操作本身就比从磁盘操作更快，且不受磁盘I/O速度的影响。如果不将数据放在内存中而是保存到磁盘，磁盘I/O速度会严重影响到Redis 的性能，而数据集大小如果达到了内存的最大限定值则不能继续插入新值。
如果打开了虚拟内存功能，当内存用尽时，Redis就会把那些不经常使用的数据存储到磁盘，如果Redis中的虚拟内存被禁了，它就会操作系统的虚拟内存（交换内存），但这时Redis的性能会急剧下降。如果配置了淘汰机制，会根据已配置的数据淘汰机制来淘汰旧数据。
展开
评论
点赞
#青训营笔记创作活动#
1月18日 打卡 Day43
redis如何进行内存优化
1、尽可能使用哈希表（hash 数据结构） ：Redis 在储存小于100个字段的Hash结构上，其存储效率是非常高的。所以在不需要集合（set）操作或 list 的push/pop 操作的时候，尽可能使用 hash 结构。
2、根据业务场景，考虑使用 BitMap
3、充分利用共享对象池：Redis 启动时会自动创建【0-9999】的整数对象池，对于 0-9999的内部整数类型的元素，整数值对象都会直接引用整数对象池中的对象，因此尽量使用 0-9999 整数对象可节省内存。
4、合理使用内存回收策略：过期数据清除、expire 设置数据过期时间等
1月18日 打卡 Day43
redis如何进行内存优化
1、尽可能使用哈希表（hash 数据结构） ：Redis 在储存小于100个字段的Hash结构上，其存储效率是非常高的。所以在不需要集合（set）操作或 list 的push/pop 操作的时候，尽可能使用 hash 结构。
2、根据业务场景，考虑使用 BitMap
3、充分利用共享对象池：Redis 启动时会自动创建【0-9999】的整数对象池，对于 0-9999的内部整数类型的元素，整数值对象都会直接引用整数对象池中的对象，因此尽量使用 0-9999 整数对象可节省内存。
4、合理使用内存回收策略：过期数据清除、expire 设置数据过期时间等
展开
评论
点赞
#青训营笔记创作活动#
1月17日 打卡 Day42
微服务
微服务的特点如下，大家先有个整体的概念，后面我会使用go-micro和go-zero框架带大家进行微服务项目的实践。
1. 单一职责
DDD思想指导我们对业务逻辑进行拆分，明确各自边界，形成不同的领域，不同的领域对应不同的微服务，这就是单一职责。
2. 团队独立
不同的领域对应不同的业务团队，也对应着不同的技术团队，彼此之间是解耦的。
3. 技术独立
不同的领域，不同的团队可以使用不同的开发语言，各自独立，只要按规范提供服务即可。
4. 数据库分离
每个领域（每个服务）都拥有自己的数据源。
5. 独立部署
每个领域（每个服务）都是独立的组件，可复用，可替换，降低耦合，易维护，易集群Docker部署服务
1月17日 打卡 Day42
微服务
微服务的特点如下，大家先有个整体的概念，后面我会使用go-micro和go-zero框架带大家进行微服务项目的实践。
1. 单一职责
DDD思想指导我们对业务逻辑进行拆分，明确各自边界，形成不同的领域，不同的领域对应不同的微服务，这就是单一职责。
2. 团队独立
不同的领域对应不同的业务团队，也对应着不同的技术团队，彼此之间是解耦的。
3. 技术独立
不同的领域，不同的团队可以使用不同的开发语言，各自独立，只要按规范提供服务即可。
4. 数据库分离
每个领域（每个服务）都拥有自己的数据源。
5. 独立部署
每个领域（每个服务）都是独立的组件，可复用，可替换，降低耦合，易维护，易集群Docker部署服务
展开
评论
点赞
#青训营笔记创作活动#
1月16日 打卡 Day41
引入索引机制后，能够给数据库带来的优势很明显：
①整个数据库中，数据表的查询速度直线提升，数据量越大时效果越明显。
②通过创建唯一索引，可以确保数据表中的数据唯一性，无需额外建立唯一约束。
③在使用分组和排序时，同样可以显著减少SQL查询的分组和排序的时间。
④连表查询时，基于主外键字段上建立索引，可以带来十分明显的性能提升。
⑤索引默认是B+Tree有序结构，基于索引字段做范围查询时，效率会明显提高。
⑥从MySQL整体架构而言，减少了查询SQL的执行时间，提高了数据库整体吞吐量。
看着上面一条又一条的好处，似乎感觉索引好处很大啊，对于这点确实毋庸置疑，但只有好处吗？No，同时也会带来一系列弊端，如：
①建立索引会生成本地磁盘文件，需要额外的空间存储索引数据，磁盘占用率会变高。
②写入数据时，需要额外维护索引结构，增、删、改数据时，都需要额外操作索引。
③写入数据时维护索引需要额外的时间开销，执行写SQL时效率会降低，性能会下降
1月16日 打卡 Day41
引入索引机制后，能够给数据库带来的优势很明显：
①整个数据库中，数据表的查询速度直线提升，数据量越大时效果越明显。
②通过创建唯一索引，可以确保数据表中的数据唯一性，无需额外建立唯一约束。
③在使用分组和排序时，同样可以显著减少SQL查询的分组和排序的时间。
④连表查询时，基于主外键字段上建立索引，可以带来十分明显的性能提升。
⑤索引默认是B+Tree有序结构，基于索引字段做范围查询时，效率会明显提高。
⑥从MySQL整体架构而言，减少了查询SQL的执行时间，提高了数据库整体吞吐量。
看着上面一条又一条的好处，似乎感觉索引好处很大啊，对于这点确实毋庸置疑，但只有好处吗？No，同时也会带来一系列弊端，如：
①建立索引会生成本地磁盘文件，需要额外的空间存储索引数据，磁盘占用率会变高。
②写入数据时，需要额外维护索引结构，增、删、改数据时，都需要额外操作索引。
③写入数据时维护索引需要额外的时间开销，执行写SQL时效率会降低，性能会下降
展开
评论
点赞
#青训营笔记创作活动#
1月15日 打卡 Day40
mysql整体架构浅析
从上往下看，依次会分为网络连接层、系统服务层、存储引擎层、以及文件系统层，往往编写SQL后，都会遵守着MySQL的这个架构往下走。
连接层：主要是指数据库连接池，会负责处理所有客户端接入的工作。
服务层：主要包含SQL接口、解析器、优化器以及缓存缓冲区四块区域。
存储引擎层：这里是指MySQL支持的各大存储引擎，如InnoDB、MyISAM等。
文件系统层：涵盖了所有的日志，以及数据、索引文件，位于系统硬盘上。
1月15日 打卡 Day40
mysql整体架构浅析
从上往下看，依次会分为网络连接层、系统服务层、存储引擎层、以及文件系统层，往往编写SQL后，都会遵守着MySQL的这个架构往下走。
连接层：主要是指数据库连接池，会负责处理所有客户端接入的工作。
服务层：主要包含SQL接口、解析器、优化器以及缓存缓冲区四块区域。
存储引擎层：这里是指MySQL支持的各大存储引擎，如InnoDB、MyISAM等。
文件系统层：涵盖了所有的日志，以及数据、索引文件，位于系统硬盘上。
展开
评论
点赞
#青训营笔记创作活动#
1月14日 打卡 Day39
滑动窗口
滑动窗口是针对计数器存在的临界点缺陷，所谓滑动窗口（Sliding window）是一种流量控制技术，这个词出现在 TCP 协议中。滑动窗口把固定时间片进行划分，并且随着时间的流逝，进行移动，固定数量的可以移动的格子，进行计数并判断阀值。
上图中我们用红色的虚线代表一个时间窗口（一分钟），每个时间窗口有 6 个格子，每个格子是 10 秒钟。每过 10 秒钟时间窗口向右移动一格，可以看红色箭头的方向。我们为每个格子都设置一个独立的计数器 Counter，假如一个请求在 0:45 访问了那么我们将第五个格子的计数器 +1（也是就是 0:40~0:50），在判断限流的时候需要把所有格子的计数加起来和设定的频次进行比较即可。
1月14日 打卡 Day39
滑动窗口
滑动窗口是针对计数器存在的临界点缺陷，所谓滑动窗口（Sliding window）是一种流量控制技术，这个词出现在 TCP 协议中。滑动窗口把固定时间片进行划分，并且随着时间的流逝，进行移动，固定数量的可以移动的格子，进行计数并判断阀值。
上图中我们用红色的虚线代表一个时间窗口（一分钟），每个时间窗口有 6 个格子，每个格子是 10 秒钟。每过 10 秒钟时间窗口向右移动一格，可以看红色箭头的方向。我们为每个格子都设置一个独立的计数器 Counter，假如一个请求在 0:45 访问了那么我们将第五个格子的计数器 +1（也是就是 0:40~0:50），在判断限流的时候需要把所有格子的计数加起来和设定的频次进行比较即可。
展开
评论
点赞
#青训营笔记创作活动#
1月13日 打卡 Day38
DHCP Discover：在联网时，本机由于没有IP，也不知道DHCP服务器的IP地址是多少，所以根本不知道该向谁发起请求，于是索性选择广播，向本地网段内所有人发出消息，询问"谁能给个IP用用"。
DHCP Offer：不是DHCP服务器的机子会忽略你的广播消息，而DHCP服务器收到消息后，会在自己维护的一个IP池里拿出一个空闲IP，通过广播的形式给回你的电脑。
DHCP Request：你的电脑在拿到IP后，再次发起广播，就说"这个IP我要了"。
DHCP ACK：DHCP服务器此时再回复你一个ACK，意思是"ok的"。你就正式获得这个IP在一段时间（比如24小时）里的使用权了。后续只要IP租约不过期，就可以一直用这个IP进行通信了。
1月13日 打卡 Day38
DHCP Discover：在联网时，本机由于没有IP，也不知道DHCP服务器的IP地址是多少，所以根本不知道该向谁发起请求，于是索性选择广播，向本地网段内所有人发出消息，询问"谁能给个IP用用"。
DHCP Offer：不是DHCP服务器的机子会忽略你的广播消息，而DHCP服务器收到消息后，会在自己维护的一个IP池里拿出一个空闲IP，通过广播的形式给回你的电脑。
DHCP Request：你的电脑在拿到IP后，再次发起广播，就说"这个IP我要了"。
DHCP ACK：DHCP服务器此时再回复你一个ACK，意思是"ok的"。你就正式获得这个IP在一段时间（比如24小时）里的使用权了。后续只要IP租约不过期，就可以一直用这个IP进行通信了。
展开
评论
点赞
#青训营笔记创作活动#
1月12日 打卡 Day37
Redis 底层实现了简单动态字符串的类型（Simple Dynamic String，SDS）来表示 String 类型。没有直接使用C语言定义的字符串类型。
SDS 实现相对于C语言String方式的提升
避免缓冲区移除。对字符修改时，可以根据 len 属性检查空间是否满足要求
获取字符串长度的复杂度较低
减少内存分配次数
兼容C字符串函数，可以重用C语言库的一部分函数
1月12日 打卡 Day37
Redis 底层实现了简单动态字符串的类型（Simple Dynamic String，SDS）来表示 String 类型。没有直接使用C语言定义的字符串类型。
SDS 实现相对于C语言String方式的提升
避免缓冲区移除。对字符修改时，可以根据 len 属性检查空间是否满足要求
获取字符串长度的复杂度较低
减少内存分配次数
兼容C字符串函数，可以重用C语言库的一部分函数
展开
评论
点赞