louisooo1
获得徽章 1
#青训营笔记创作活动#
2月1日 打卡day9【day9】502问题怎么排查
1.HTTP状态码用来表示响应结果的状态，其中200是正常响应，4xx是客户端错误，5xx是服务端错误。
2.客户端和服务端之间加入nginx，可以起到反向代理和负载均衡的作用，客户端只管向nginx请求数据，并不关心这个请求具体由哪个服务器来处理。
3.后端服务端应用如果发生崩溃，nginx在访问服务端时会收到服务端返回的RST报文，然后给客户端返回502报错。502并不是服务端应用发出的，而是nginx发出的。因此发生502时，后端服务端很可能没有没有相关的502日志，需要在nginx侧才能看到这条502日志。
4.如果发现502，优先通过监控排查服务端应用是否发生过崩溃重启，如果是的话，再看下是否留下过崩溃堆栈日志，如果没有日志，看下是否可能是oom或者是其他原因导致进程主动退出。如果进程也没崩溃过，去排查下nginx的日志，看下是否将请求打到了某个不知名IP端口上。
2月1日 打卡day9【day9】502问题怎么排查
1.HTTP状态码用来表示响应结果的状态，其中200是正常响应，4xx是客户端错误，5xx是服务端错误。
2.客户端和服务端之间加入nginx，可以起到反向代理和负载均衡的作用，客户端只管向nginx请求数据，并不关心这个请求具体由哪个服务器来处理。
3.后端服务端应用如果发生崩溃，nginx在访问服务端时会收到服务端返回的RST报文，然后给客户端返回502报错。502并不是服务端应用发出的，而是nginx发出的。因此发生502时，后端服务端很可能没有没有相关的502日志，需要在nginx侧才能看到这条502日志。
4.如果发现502，优先通过监控排查服务端应用是否发生过崩溃重启，如果是的话，再看下是否留下过崩溃堆栈日志，如果没有日志，看下是否可能是oom或者是其他原因导致进程主动退出。如果进程也没崩溃过，去排查下nginx的日志，看下是否将请求打到了某个不知名IP端口上。
展开
评论
点赞
#青训营笔记创作活动#
1月22日 打卡day8
1.传输的方式&节点
a.电路交换
b.报文交换。报文交换相比于电路交换，不需要一条专用通信双方线路，而是可以随时发送报文，通信双方不固定占有一条通信线路，而是在不同的时间段的占有这条物理线路。
c.分组交换。分组交换的思想源于报文交换，也采用存储转发的原理，但不同的是分组交换的最小信息单位是分组，而报文交换则是一个个报文。分组加速了数据在网络中的传输，一个分组的存储与前一个分组转发可以并行，所以本质分组交换也是存储转发，可以说让报文更加有组织，转发也更加迅速。
2.网络的分类
1.个人区域网（PAN）。个人区域网PAN（Personal Area Network），顾名思义可以是个人使用区域范围内的电脑等设备，用无线连接起来的网络。所以范围相对很小。
2.局域网（LAN）。局域网LAN（Local Area Network），在地理上局限的范围，如1km左右。但可以将多个互连的局域网，来覆盖校园或者企业中。所以局域网也被称为校园网或企业网。
3.城域网（MAN）城域网MAN（Metropolitan Area Network），城域网的作用范围可跨越几个街区甚至整个城市，距离约也可以为5到50km，所以一般也是一个城市。
4.广域网（WAN）广域网WAN（Wide Area Network）范围通常为几十到几千公里，可以通过长距离运送主机所发送的数据，所以可以跨越不同国家，也是互联网的核心部分。
1月22日 打卡day8
1.传输的方式&节点
a.电路交换
b.报文交换。报文交换相比于电路交换，不需要一条专用通信双方线路，而是可以随时发送报文，通信双方不固定占有一条通信线路，而是在不同的时间段的占有这条物理线路。
c.分组交换。分组交换的思想源于报文交换，也采用存储转发的原理，但不同的是分组交换的最小信息单位是分组，而报文交换则是一个个报文。分组加速了数据在网络中的传输，一个分组的存储与前一个分组转发可以并行，所以本质分组交换也是存储转发，可以说让报文更加有组织，转发也更加迅速。
2.网络的分类
1.个人区域网（PAN）。个人区域网PAN（Personal Area Network），顾名思义可以是个人使用区域范围内的电脑等设备，用无线连接起来的网络。所以范围相对很小。
2.局域网（LAN）。局域网LAN（Local Area Network），在地理上局限的范围，如1km左右。但可以将多个互连的局域网，来覆盖校园或者企业中。所以局域网也被称为校园网或企业网。
3.城域网（MAN）城域网MAN（Metropolitan Area Network），城域网的作用范围可跨越几个街区甚至整个城市，距离约也可以为5到50km，所以一般也是一个城市。
4.广域网（WAN）广域网WAN（Wide Area Network）范围通常为几十到几千公里，可以通过长距离运送主机所发送的数据，所以可以跨越不同国家，也是互联网的核心部分。
展开
评论
点赞
#青训营笔记创作活动#
1月19日 打开day7
UDP就一定比TCP快吗？
简介：
使用socket进行数据传输
作为一个程序员，假设我们需要在A电脑的进程发一段数据到B电脑的进程，我们一般会在代码里使用socket进行编程socket就像是一个电话或者邮箱（邮政的信箱）。当你想要发送消息的时候，拨通电话或者将信息塞到邮箱里，socket内核会自动完成将数据传给对方的这个过程。
基于socket我们可以选择使用TCP或UDP协议进行通信。
对于TCP这样的可靠性协议，每次消息发出后都能明确知道对方收没收到，就像打电话一样，只要"喂喂"两下就能知道对方有没有在听。
而UDP就像是给邮政的信箱寄信一样，你寄出去的信，根本就不知道对方有没有正常收到，丢了也是有可能的。
TCP对异常情况的处理：
1.重传机制
2.流量控制机制
3.滑动窗口机制
4.拥塞控制机制
5.包分段机制
6.乱序重排机制
7.连接机制
TCP三大特性"面向连接、可靠的、基于字节流"。
总结
• TCP为了实现可靠性，引入了重传机制、流量控制、滑动窗口、拥塞控制、分段以及乱序重排机制。而UDP则没有实现，因此一般来说TCP比UDP快。
• TCP是面向连接的协议，而UDP是无连接的协议。这里的"连接"其实是，操作系统内核在两端代码里维护的一套复杂状态机。
• 大部分项目，会在基于UDP的基础上，模仿TCP，实现不同程度的可靠性机制。比如王者农药用的KCP其实就在基于UDP在应用层里实现了一套重传机制。
• 对于UDP+重传的场景，如果要传超大数据包，并且没有实现分段机制的话，那数据就会在IP层分片，一旦丢包，那就需要重传整个超大数据包。而TCP则不需要考虑这个，内部会自动分段，丢包重传分段就行了。这种场景下，其实TCP更快。
1月19日 打开day7
UDP就一定比TCP快吗？
简介：
使用socket进行数据传输
作为一个程序员，假设我们需要在A电脑的进程发一段数据到B电脑的进程，我们一般会在代码里使用socket进行编程socket就像是一个电话或者邮箱（邮政的信箱）。当你想要发送消息的时候，拨通电话或者将信息塞到邮箱里，socket内核会自动完成将数据传给对方的这个过程。
基于socket我们可以选择使用TCP或UDP协议进行通信。
对于TCP这样的可靠性协议，每次消息发出后都能明确知道对方收没收到，就像打电话一样，只要"喂喂"两下就能知道对方有没有在听。
而UDP就像是给邮政的信箱寄信一样，你寄出去的信，根本就不知道对方有没有正常收到，丢了也是有可能的。
TCP对异常情况的处理：
1.重传机制
2.流量控制机制
3.滑动窗口机制
4.拥塞控制机制
5.包分段机制
6.乱序重排机制
7.连接机制
TCP三大特性"面向连接、可靠的、基于字节流"。
总结
• TCP为了实现可靠性，引入了重传机制、流量控制、滑动窗口、拥塞控制、分段以及乱序重排机制。而UDP则没有实现，因此一般来说TCP比UDP快。
• TCP是面向连接的协议，而UDP是无连接的协议。这里的"连接"其实是，操作系统内核在两端代码里维护的一套复杂状态机。
• 大部分项目，会在基于UDP的基础上，模仿TCP，实现不同程度的可靠性机制。比如王者农药用的KCP其实就在基于UDP在应用层里实现了一套重传机制。
• 对于UDP+重传的场景，如果要传超大数据包，并且没有实现分段机制的话，那数据就会在IP层分片，一旦丢包，那就需要重传整个超大数据包。而TCP则不需要考虑这个，内部会自动分段，丢包重传分段就行了。这种场景下，其实TCP更快。
展开
评论
点赞
#青训营笔记创作活动#
1月18日 打卡day6
Kafka简介
消息系统
Kafka 和传统的消息系统(也称作消息中间件)都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。
存储系统
Kafka 把消息持久化到磁盘，相比于其他基于内存存储的系统而言，有效地降低了数据丢失的风险。也正是得益于 Kafka 的消息持久化功能和多副本机制，我们可以把 Kafka 作为长期的数据存储系统来使用，只需要把对应的数据保留策略设置为“永久”或启用主题的日志压缩功能即可。
流式处理平台
Kafka 不仅为每个流行的流式处理框架提供了可靠的数据来源，还提供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等各类操作。
一个典型的 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群，如图所示。其中 ZooKeeper 是 Kafka 用来负责集群元数据的管理、控制器 的选举等操作的。Producer 将消息发送到 Broker，Broker 负责将收到的消息存储到磁盘中，而 Consumer 负责从 Broker 订阅并消费消息。
整个 Kafka 体系结构中引入了以下 3 个术语。
• Producer：生产者，也就是发送消息的一方。生产者负责创建消息，然后将其投递到 Kafka 中。
• Consumer：消费者，也就是接收消息的一方。消费者连接到 Kafka 上并接收消息，进而进行相应的业务逻辑处理。
• Broker：服务代理节点。对于 Kafka 而言，Broker 可以简单地看作一个独立的 Kafka 服务节点或 Kafka 服务实例。大多数情况下也可以将 Broker 看作一台 Kafka 服务器，前提是这台服务器上只部署了一个 Kafka 实例。一个或多个 Broker 组成了一个 Kafka 集群。一般而言， 我们更习惯使用首字母小写的 broker 来表示服务代理节点。
1月18日 打卡day6
Kafka简介
消息系统
Kafka 和传统的消息系统(也称作消息中间件)都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。
存储系统
Kafka 把消息持久化到磁盘，相比于其他基于内存存储的系统而言，有效地降低了数据丢失的风险。也正是得益于 Kafka 的消息持久化功能和多副本机制，我们可以把 Kafka 作为长期的数据存储系统来使用，只需要把对应的数据保留策略设置为“永久”或启用主题的日志压缩功能即可。
流式处理平台
Kafka 不仅为每个流行的流式处理框架提供了可靠的数据来源，还提供了一个完整的流式处理类库，比如窗口、连接、变换和聚合等各类操作。
一个典型的 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群，如图所示。其中 ZooKeeper 是 Kafka 用来负责集群元数据的管理、控制器 的选举等操作的。Producer 将消息发送到 Broker，Broker 负责将收到的消息存储到磁盘中，而 Consumer 负责从 Broker 订阅并消费消息。
整个 Kafka 体系结构中引入了以下 3 个术语。
• Producer：生产者，也就是发送消息的一方。生产者负责创建消息，然后将其投递到 Kafka 中。
• Consumer：消费者，也就是接收消息的一方。消费者连接到 Kafka 上并接收消息，进而进行相应的业务逻辑处理。
• Broker：服务代理节点。对于 Kafka 而言，Broker 可以简单地看作一个独立的 Kafka 服务节点或 Kafka 服务实例。大多数情况下也可以将 Broker 看作一台 Kafka 服务器，前提是这台服务器上只部署了一个 Kafka 实例。一个或多个 Broker 组成了一个 Kafka 集群。一般而言， 我们更习惯使用首字母小写的 broker 来表示服务代理节点。
展开
评论
点赞