青争9527

找不到目标找不到意义亦或是烦躁的时候，就写写文章吧，把那些困扰你很久的问题铺开来 花时间仔细想想，其实真正让我们生气懊恼，迷茫找不到意义的问题很少很少，只不过这些问题会随着忙的事情越来越多心情心态也越

你好，从这篇文章开始，我会对郑建勋老师的极客专栏《Go 进阶 · 分布式爬虫实战》进行一个持续的研读和笔记总结。 今天要分享是的go的基础知识部分

今天我主要分享下什么是网络爬虫，以及数据爬取协议、爬取策略、数据解析、数据存储、可视化，以及常见的反爬虫措施。

go语言是开发网络服务的极佳选择，因为可以简单高效的处理大量并发请求 之所以说 Go 语言开发简单，是因为 Go 是以同步的方式来处理网络 I/O 的，它会等待网络 I/O 就绪后，才继续下面的流程

用最少的资源将程序的性能优势最大化，这不仅是每一个有追求的开发者的目标，更是企业为了达到更好的用户体验（例如更小的响应时间）、更低的成本面临的现实困境。 性能问题无处不在，从设计、开发阶段如何避免性能

在这节课，我将更进一步，分析一下影响高性能程序的底层基石：代码实施、操作系统与硬件。分析如何在这些层面进行设计和调优，最终实现高性能的目标。 让我们先从代码实施阶段讲起。 代码实施级别 编写代码时的性

微服务（Microservices）是一种软件架构风格。它以职责单一、细粒度的小型功能模块为基础，并将这些小型功能模块组合成一个复杂的大型系统。

微服务可以分散到多个机器中，它本身是分布式架构的一种特例，所以自然也面临着和分布式架构同样的问题。除了我们之前介绍的可观测性等问题之外，微服务还面临着分布式架构所面临的核心难题：数据一致性和可用性问题

当前比较有名的算法是：Paxos、Raft 和 Zab。我将其称为分布式容错共识算法，容错代表了在异常情况下仍然具有可用性和正确性，而共识代表的是数据的一致性，它意味着即便是在并发、异常等情况下