python爬虫
2篇文章 · 0订阅
  • scrapy的入门使用
    3. 创建项目 4. 创建爬虫 允许爬取的域名: 为对于爬虫设置的爬取范围，设置之后用于过滤要爬取的url，如果爬取的url与允许的域不通则被过滤掉。 5. 完善爬虫 配置项中键为使用的管道类，管道类使用.进行分割，第一个为项目目录，第二个为文件，第三个为定义的管道类。 配置项…
    爬虫
  • 爬虫入门系列（二）：优雅的HTTP库requests
    在系列文章的第一篇中介绍了 HTTP 协议，Python 提供了很多模块来基于 HTTP 协议的网络编程，urllib、urllib2、urllib3、httplib、httplib2，都是和 HTTP 相关的模块，看名字觉得很反人类，更糟糕的是这些模块在 Python2 与 …
    Python 爬虫
    爬虫入门系列（二）：优雅的HTTP库requests