在这个系列文章里面已经介绍了BeautifulSoup的替代库soup和Pyquery的替代库goquery，但其实我写Python爬虫最愿意用的页面解析组合是lxml+XPath。为什么呢？先分别说一下lxml和XPath的优势吧 lxml是HTML/XML的解析器，它用 C…

上篇文章把数据存进了文件，这篇文章将把数据存入MySQL数据库。数据库的使用是每个开发者必备的技能，所以本篇文章我们使用Golang操作数据库。Golang没有内置的驱动支持任何的数据库，但是Go定义了database/sql接口，开发者可以基于驱动接口开发相应数据库的驱动。当…

一. 开发工具 用于将 sql 语句转换为 golang 的 struct. 使用 ddl 语句即可。 例如对于创建表的语句: show create table xxx. 将输出的语句，直接粘贴进去就行。 用于将编码后的 toml 文本转换问 golang 的 struct.…

Colly是Golang世界最知名的Web爬虫框架了，它的API清晰明了，高度可配置和可扩展，支持分布式抓取，还支持多种存储后端（如内存、Redis、MongoDB等）。这篇文章记录我学习使用它的的一些感受和理解。 这个go get和之前安装包不太一样，最后有...这样的省略号…