说到爬虫，大多数人会想到用Python来做，毕竟简单好用，比如想抓取豆瓣电影top250 的所有电影数据。ps: 我收藏了部分top 250 的电影，可以回复对应电影名试试。 这样就可以输出第一页的所有电影标题，第二页的数据还需要代码处理。 但对于非程序员还是有难度的，有没有不…

昨天的时候我参加了掘金组织的一场 Python 网络爬虫主题的分享活动，主要以直播的形式分享了我从事网络爬虫相关研究以来的一些经验总结，整个直播从昨天下午 1 点一直持续到下午 5 点，整整四个小时。 整个分享分为三个阶段，第一阶段先介绍了自己从大学以来从事编程开发以来的相关历…

今天介绍一个妹子站点图片的爬取过程，站点唯美女生。站点结构非常简单，单独用requests库或者scrapy框架都可以。本文介绍的是使用scrapy框架爬取。 站点做的非常清新唯美，结构简洁明了，主页的主体部分以卡片形式展示各个主题的缩略图和简要介绍，但主页并不适合直接爬取。 …

这个方法随着spider和item的增多变得越来越臃肿,可以采取将多个spider的items单独存入到一个item文件夹中。每个item是包含数据库插入方法 有些时候，我们可能需要存入不同的数据库中，而settings中只能设置一个数据库的资料，那么这时候我们就需要使用cus…