BobLin

在这个系列文章里面已经介绍了BeautifulSoup的替代库soup和Pyquery的替代库goquery，但其实我写Python爬虫最愿意用的页面解析组合是lxml+XPath。为什么呢？先分别说一下lxml和XPath的优势吧 lxml是HTML/XML的解析器，它用 C…

Python爬虫工程师有个常用的提取数据的库BeautifulSoup，而在Golang语言也有一个对应的库soup，由于我比较喜欢Python写爬虫所以自然而然的就想到了soup，这篇文章就是就来体验一下它。 soup是第三方库，需要手动安装： 就如之前的练习，我们是要定义头…

Python爬虫工程师有个常用的提取数据的库BeautifulSoup，而在Golang语言也有一个对应的库soup，由于我比较喜欢Python写爬虫所以自然而然的就想到了soup，这篇文章就是就来体验一下它。 就如之前的练习，我们是要定义头信息的，但是soup这个库只开放了G…

在写爬虫的时候，想要对HTML内容进行选择和查找匹配时通常是不直接写正则表达式的：因为正则表达式可读性和可维护性比较差。用Python写爬虫这方面可选择的方案非常多了，其中有一个被开发者常用的库pyquery，而Golang也有对应的goquery，可以说goquery是jQu…

在写爬虫的时候，想要对HTML内容进行选择和查找匹配时通常是不直接写正则表达式的：因为正则表达式可读性和可维护性比较差。用Python写爬虫这方面可选择的方案非常多了，其中有一个被开发者常用的库pyquery，而Golang也有对应的goquery，可以说goquery是jQu…

在上篇文章里面我用Go写了一个爬虫，但是它的执行是串行的，效率很低，这篇文章把它改成并发的。由于这个程序只抓取10个页面，大概1s多就完成了，为了对比我们先给之前的doubanCrawler1.go加一点Sleep的代码，让它跑的「慢」些： 这样运行起来大体可以计算出来程序跑完…

在上篇文章里面我用Go写了一个爬虫，但是它的执行是串行的，效率很低，这篇文章把它改成并发的。由于这个程序只抓取10个页面，大概1s多就完成了，为了对比我们先给之前的doubanCrawler1.go加一点Sleep的代码，让它跑的「慢」些： 已经很慢了。接着我们开始让它变得更快…

之前一直都是再用Python写爬虫，最近想体验下Golang写爬虫的感觉，所以就有了这个系列。我想要抓取的页面是豆瓣Top250页面，选择它的理由有3个: 豆瓣页面代码相对规范 豆瓣对爬虫爱好者相对更宽容 Top250页面简洁，很适合拿来练手 我们先看第一版的代码...