嗨学编程

1.正常打开谷歌搜索，然后审查元素想获取目标内容的时候，会发现是一大串js。 第一点和第三点不必多说，对于第二点增加休眠时间则需要我们好好地进行检测。 假设在单ip随机ua情况下： 单一ip不停地访问统一谷歌域名自然很容易被察觉，谷歌全球190+的域名，难道都在实时的统计ip么…

因为爬虫爬取下来的数据要用Python的数据框架来存储，list和dic是基础，另外你还需要了解numpy以及pandas。 urllib、requests、Bs4、scrapy、pyspider等等。 bs4负责将网页变成结构化数据，方便爬取。 比如：糗事百科的段子、一些盗版…

随机User-Agentfake_useragent库，伪装请求头获取代理ip在免费的代理网站爬取代理ip，免费代理的采集也很简单，无非就是：访问页面页面—>正则/xpath提取—>保存代理ip网站有

其实这事情挺简单的，打开CSDN博客首页，他不是有个最新文章么，这个里面都是最新发布的文章。 发现博客最新文章是一个瀑布流页面，不断下拉，只有一个参数shown_offset 在变化，按照我多年的行医经验，这个参数是个时间戳，而且肯定是上一次数据最后一条的时间戳。

1. 为什么要爬虫? 2. 什么是爬虫？ 3. 爬虫如何抓取网页数据？ a. 如果是需要的数据--保存 b. 如果有其他URL，继续执行第二步 4. Python爬虫的优势？ 5. 学习路线 6. 爬虫的分类