小倪酱
获得徽章 1
#青训营笔记创作活动#
今日学习
2月24日
大数据表处理
1. 数据表分区适用于数据量较大、查询场景只在某个区、没有联合查询的场景
2. 数据表分表适用于数据量较大,无法区分明显冷热区 且数据可以完整按照区间划分
3. 冷热归档分库适用于数据量较大、数据冷热分区明显、冷数据使用频率极低的情况
今日学习
2月24日
大数据表处理
1. 数据表分区适用于数据量较大、查询场景只在某个区、没有联合查询的场景
2. 数据表分表适用于数据量较大,无法区分明显冷热区 且数据可以完整按照区间划分
3. 冷热归档分库适用于数据量较大、数据冷热分区明显、冷数据使用频率极低的情况
展开
评论
点赞
#青训营笔记创作活动#
2月22日打卡day8
今日学习
如何解决阅读英文文档的问题
1. 搜索引擎：尝试多个搜索引擎+使用英文表述问题进行搜索
2. 翻译：使用小本本记录重点词汇
3. 以书找书，递归式阅读
4. 分解复杂语句，学习语法
2月22日打卡day8
今日学习
如何解决阅读英文文档的问题
1. 搜索引擎：尝试多个搜索引擎+使用英文表述问题进行搜索
2. 翻译：使用小本本记录重点词汇
3. 以书找书，递归式阅读
4. 分解复杂语句，学习语法
展开
评论
点赞
#青训营笔记创作活动#
2月22日打卡day7
今日学习
1. HTTP状态码用来表示响应结果的状态，其中200是正常响应，4xx是客户端错误，5xx是服务端错误。
2. 客户端和服务端之间加入nginx，可以起到反向代理和负载均衡的作用，客户端只管向nginx请求数据，并不关心这个请求具体由哪个服务器来处理。
3. 后端服务端应用如果发生崩溃，nginx在访问服务端时会收到服务端返回的RST报文，然后给客户端返回502报错。502并不是服务端应用发出的，而是nginx发出的。因此发生502时，后端服务端很可能没有没有相关的502日志，需要在nginx侧才能看到这条502日志。
4. 如果发现502，优先通过监控排查服务端应用是否发生过崩溃重启，如果是的话，再看下是否留下过崩溃堆栈日志，如果没有日志，看下是否可能是oom或者是其他原因导致进程主动退出。如果进程也没崩溃过，去排查下nginx的日志，看下是否将请求打到了某个不知名IP端口上。
2月22日打卡day7
今日学习
1. HTTP状态码用来表示响应结果的状态，其中200是正常响应，4xx是客户端错误，5xx是服务端错误。
2. 客户端和服务端之间加入nginx，可以起到反向代理和负载均衡的作用，客户端只管向nginx请求数据，并不关心这个请求具体由哪个服务器来处理。
3. 后端服务端应用如果发生崩溃，nginx在访问服务端时会收到服务端返回的RST报文，然后给客户端返回502报错。502并不是服务端应用发出的，而是nginx发出的。因此发生502时，后端服务端很可能没有没有相关的502日志，需要在nginx侧才能看到这条502日志。
4. 如果发现502，优先通过监控排查服务端应用是否发生过崩溃重启，如果是的话，再看下是否留下过崩溃堆栈日志，如果没有日志，看下是否可能是oom或者是其他原因导致进程主动退出。如果进程也没崩溃过，去排查下nginx的日志，看下是否将请求打到了某个不知名IP端口上。
展开
评论
点赞
#青训营笔记创作活动#
2月20日打卡day6
今日学习
1. 文章开头通过抓包baidu的数据包，展示了用wireshark抓包的简单操作流程。
2. HTTPS会对HTTP的URL和Request Body都进行加密，因此直接在filter栏进行过滤http.host == "baidu.com"会一无所获。
3. HTTPS握手的过程中会先通过非对称机密去交换各种信息，其中就包括3个随机数，再通过这三个随机数去生成对称机密的会话秘钥，后续使用这个会话秘钥去进行对称加密通信。如果能获得这三个随机数就能解密HTTPS的加密数据包。
4. 三个随机数，分别是客户端随机数（client random），服务端随机数（server random）以及pre_master_key。前两个，是明文，第三个是被服务器公钥加密过的，在客户端侧需要通过SSLKEYLOGFILE去导出。
5. 通过设置SSLKEYLOGFILE环境变量，再让curl或chrome会请求HTTPS域名，会让它们在调用TLS库的同时导出对应的sslkey文件。这个文件里包含了三列，其中最重要的是第二列的client random信息以及第三列的pre_master_key。第二列client random用于定位，第三列pre_master_key用于解密。
2月20日打卡day6
今日学习
1. 文章开头通过抓包baidu的数据包，展示了用wireshark抓包的简单操作流程。
2. HTTPS会对HTTP的URL和Request Body都进行加密，因此直接在filter栏进行过滤http.host == "baidu.com"会一无所获。
3. HTTPS握手的过程中会先通过非对称机密去交换各种信息，其中就包括3个随机数，再通过这三个随机数去生成对称机密的会话秘钥，后续使用这个会话秘钥去进行对称加密通信。如果能获得这三个随机数就能解密HTTPS的加密数据包。
4. 三个随机数，分别是客户端随机数（client random），服务端随机数（server random）以及pre_master_key。前两个，是明文，第三个是被服务器公钥加密过的，在客户端侧需要通过SSLKEYLOGFILE去导出。
5. 通过设置SSLKEYLOGFILE环境变量，再让curl或chrome会请求HTTPS域名，会让它们在调用TLS库的同时导出对应的sslkey文件。这个文件里包含了三列，其中最重要的是第二列的client random信息以及第三列的pre_master_key。第二列client random用于定位，第三列pre_master_key用于解密。
展开
评论
点赞
#青训营笔记创作活动#
2月19日打卡day5
今日学习
1.大数取模运算是不可逆的，因此他人无法暴力解密。但是结合欧拉定理，我们可以选取出合适的p（公钥）, q（私钥）, N（用于取模的大数），让原本不可逆的运算在特定情况下，变得有那么点“可逆”的味道。数学原理决定了我们用公钥加密的数据，只有私钥能解密。反过来，用私钥加密的数据，也只有公钥能解密。
2.HTTPS相当于HTTP+TLS，目前主流的是TLS1.2，基于TCP三次握手之后，再来TLS四次握手。
3.TLS四次握手的过程中涉及到两对私钥和公钥。分别是服务器本身的私钥和公钥，以及CA的私钥和公钥。
4.TLS四次握手背起来会挺难受的，建议关注三个随机数的流向，以此作为基础去理解，大概就能记下来了。
2月19日打卡day5
今日学习
1.大数取模运算是不可逆的，因此他人无法暴力解密。但是结合欧拉定理，我们可以选取出合适的p（公钥）, q（私钥）, N（用于取模的大数），让原本不可逆的运算在特定情况下，变得有那么点“可逆”的味道。数学原理决定了我们用公钥加密的数据，只有私钥能解密。反过来，用私钥加密的数据，也只有公钥能解密。
2.HTTPS相当于HTTP+TLS，目前主流的是TLS1.2，基于TCP三次握手之后，再来TLS四次握手。
3.TLS四次握手的过程中涉及到两对私钥和公钥。分别是服务器本身的私钥和公钥，以及CA的私钥和公钥。
4.TLS四次握手背起来会挺难受的，建议关注三个随机数的流向，以此作为基础去理解，大概就能记下来了。
展开
评论
点赞
#青训营笔记创作活动#
2月18日打卡day4
今日学习
1. TCP为了实现可靠性，引入了重传机制、流量控制、滑动窗口、拥塞控制、分段以及乱序重排机制。而UDP则没有实现，因此一般来说UDP比TCP快。
2. TCP是面向连接的协议，而UDP是无连接的协议。这里的"连接"其实是，操作系统内核在两端代码里维护的一套复杂状态机。
3. 大部分项目，会在基于UDP的基础上，模仿TCP，实现不同程度的可靠性机制。比如王者农药用的KCP其实就在基于UDP在应用层里实现了一套重传机制。
4. 对于UDP+重传的场景，如果要传超大数据包，并且没有实现分段机制的话，那数据就会在IP层分片，一旦丢包，那就需要重传整个超大数据包。而TCP则不需要考虑这个，内部会自动分段，丢包重传分段就行了。这种场景下，其实TCP更快。
2月18日打卡day4
今日学习
1. TCP为了实现可靠性，引入了重传机制、流量控制、滑动窗口、拥塞控制、分段以及乱序重排机制。而UDP则没有实现，因此一般来说UDP比TCP快。
2. TCP是面向连接的协议，而UDP是无连接的协议。这里的"连接"其实是，操作系统内核在两端代码里维护的一套复杂状态机。
3. 大部分项目，会在基于UDP的基础上，模仿TCP，实现不同程度的可靠性机制。比如王者农药用的KCP其实就在基于UDP在应用层里实现了一套重传机制。
4. 对于UDP+重传的场景，如果要传超大数据包，并且没有实现分段机制的话，那数据就会在IP层分片，一旦丢包，那就需要重传整个超大数据包。而TCP则不需要考虑这个，内部会自动分段，丢包重传分段就行了。这种场景下，其实TCP更快。
展开
评论
点赞
#青训营笔记创作活动#
2月17日打卡day3
今日学习
学习了搜索树中的B树与B+树，了解mysql数据存储如何使用B+树，通过对B+树的学习，了解mysql分库分表的原因与如何计算界限
2月17日打卡day3
今日学习
学习了搜索树中的B树与B+树，了解mysql数据存储如何使用B+树，通过对B+树的学习，了解mysql分库分表的原因与如何计算界限
展开
评论
点赞
#青训营笔记创作活动#
2月16日打卡day2
今日学习
学习DHCP如何自动分配ip
1. 电脑插上网线，联网后会通过DHCP协议动态申请一个IP，同时获得子网掩码，路由器地址等信息。
2. DHCP分为四个阶段，分别是 Discover，Offer， Request和ACK。如果曾经连过这个网，机器会记录你上次使用的IP，再次连接时优先使用原来的那个IP，因此只需要经历第三第四阶段。
3. DHCP是应用层协议，考虑到需要支持广播功能，底层使用的是UDP协议，而不是TCP协议。
4. DHCP分配下来的IP是有可能跟某台手动配置的IP地址重复的。
5. DHCP得到IP之后还会发3次无偿ARP通告，在确认没有冲突后开始使用这个IP。
2月16日打卡day2
今日学习
学习DHCP如何自动分配ip
1. 电脑插上网线，联网后会通过DHCP协议动态申请一个IP，同时获得子网掩码，路由器地址等信息。
2. DHCP分为四个阶段，分别是 Discover，Offer， Request和ACK。如果曾经连过这个网，机器会记录你上次使用的IP，再次连接时优先使用原来的那个IP，因此只需要经历第三第四阶段。
3. DHCP是应用层协议，考虑到需要支持广播功能，底层使用的是UDP协议，而不是TCP协议。
4. DHCP分配下来的IP是有可能跟某台手动配置的IP地址重复的。
5. DHCP得到IP之后还会发3次无偿ARP通告，在确认没有冲突后开始使用这个IP。
展开
评论
点赞
#青训营笔记创作活动#
2月15日打卡day1
今日学习
常见限流方式:计数器、滑动窗口、漏桶、令牌桶、Redis+lua分布式限流还有针对服务器进行限流。
令牌桶缺点比较少但是实现复杂。
2月15日打卡day1
今日学习
常见限流方式:计数器、滑动窗口、漏桶、令牌桶、Redis+lua分布式限流还有针对服务器进行限流。
令牌桶缺点比较少但是实现复杂。
展开
评论
点赞
#青训营笔记创作活动#
2月14日打卡day5
今日学习
1. TCP为了实现可靠性，引入了重传机制、流量控制、滑动窗口、拥塞控制、分段以及乱序重排机制。而UDP则没有实现，因此一般来说UDP比TCP快。
2. TCP是面向连接的协议，而UDP是无连接的协议。这里的"连接"其实是，操作系统内核在两端代码里维护的一套复杂状态机。
3. 大部分项目，会在基于UDP的基础上，模仿TCP，实现不同程度的可靠性机制。比如王者农药用的KCP其实就在基于UDP在应用层里实现了一套重传机制。
4. 对于UDP+重传的场景，如果要传超大数据包，并且没有实现分段机制的话，那数据就会在IP层分片，一旦丢包，那就需要重传整个超大数据包。而TCP则不需要考虑这个，内部会自动分段，丢包重传分段就行了。这种场景下，其实TCP更快。
2月14日打卡day5
今日学习
1. TCP为了实现可靠性，引入了重传机制、流量控制、滑动窗口、拥塞控制、分段以及乱序重排机制。而UDP则没有实现，因此一般来说UDP比TCP快。
2. TCP是面向连接的协议，而UDP是无连接的协议。这里的"连接"其实是，操作系统内核在两端代码里维护的一套复杂状态机。
3. 大部分项目，会在基于UDP的基础上，模仿TCP，实现不同程度的可靠性机制。比如王者农药用的KCP其实就在基于UDP在应用层里实现了一套重传机制。
4. 对于UDP+重传的场景，如果要传超大数据包，并且没有实现分段机制的话，那数据就会在IP层分片，一旦丢包，那就需要重传整个超大数据包。而TCP则不需要考虑这个，内部会自动分段，丢包重传分段就行了。这种场景下，其实TCP更快。
展开
评论
点赞