Lattersea

中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数据，做一些修改…

正则表达式一直是困扰很多程序员的一门技术，当然也包括曾经的我。大多数时候我们在开发过程中要用到某些正则表达式的时候，都会打开谷歌或百度直接搜索然后拷贝粘贴。当下一次再遇到相同问题的时候，同样的场景又再来一遍。作为一门用途很广的技术，我相信深入理解正则表达式并能融会贯通是值得的。…

面试不是一锤子买卖，通常需要 3～6 轮面试，遂需要准备的内容挺多的，请听我详细道来。 无论哪一轮面试，你都得主动提出“我简单地介绍一下自己”，遂自我介绍肯定是要有的。自我介绍要描述清楚你叫什么、多少岁、多少年工作经验、你之前是做什么的、这次面试打算面什么岗位、主要的技术栈是什…

事情很直接，我来分享一下。在技术群里有朋友提出了这么一个问题和需求： 上面的一连串截图就是事情的大致经过，我来整理一下。群友 Ares 遇到的问题是在面对大众点评字体爬时不知道如何确定被混淆文字的位置，且混淆位置是随机的。当你遇到下图的代码时： 被混淆的是后面 3 位，前 2 …

通过Scrapy，我们可以轻松地完成一个站点爬虫的编写。但如果抓取的站点量非常大，比如爬取各大媒体的新闻信息，多个Spider则可能包含很多重复代码。 如果我们将各个站点的Spider的公共部分保留下来，不同的部分提取出来作为单独的配置，如爬取规则、页面解析方式等抽离出来做成一…

对部分数据进行加密的，可以使用selenium进行截图，使用python自带的pytesseract库进行识别，但是比较慢最直接的方法是找到加密的方法进行逆向推理。 urllib 和urllib2都是接受URL请求的相关模块，但是urllib2可以接受一个Request类的实例…

笔者是一名双非本科生，通过了百度北京互联网数据研发部的最后一轮面试。第一次写博客，写的很详细（其实是罗里吧嗦），给自己记录一段面试经历，同时也希望这次的面试给需要的同学提供一点经验帮助吧。 大三暑假末期，当时在一家B轮融资的金融互联网企业里面担任python爬虫实习生，但是实习…