新人小可爱

在开始介绍scrapy的去重之前，先想想我们是怎么对requests对去重的。requests只是下载器，本身并没有提供去重功能。所以我们需要自己去做。很典型的做法是事先定义一个去重队列，判断抓取的url是否在其中，如下： 接着往下看，你会知道的。 注释过多，我就删掉了。谷歌翻…

有段时间没写东西了，如果你在萌新群里，应该知道我最近换工作的事。简单说，就是辞去了北京的工作，在杭州找到了新工作。 看到手里的离职证明，想着还是写点什么，记录下我毕业后的第一份工作，在这里我做了什么，学到了什么。 17年6月分毕业户就来到了北京，我清楚的记得去北京是坐的普快，那…

可以观察到，此类验证码特点明显，4位数字，每个数字所处位置固定。 他这里就是先创建了一个临时文件，将图片写进去，再读取图片。如果需要维持session状态，也可以按照他这样，先创建一个临时文件，之后再删除。

最近很多人都在问拉勾反爬是怎么回事，简单说下。 拉勾职位数据都在Ajax加载中，每一个请求都会携带上一次返回的cookies。我们来做个试验，先在浏览器中打开该网址：https://www.lagou.com/jobs/list_?px=new&city=%E5%85%A8%E…

现在淘宝的商品搜索页必须要登录才能见，所以必须要cookies才能进行下一步操作。本期介绍如何使用pyppeteer登录淘宝，获取Cookies。 第一次运行时需要下载Chromium，你可以提前在终端输入pyppeteer-install来下载。 代码太长，可以直接去Gith…

题目：合并 k 个排序链表，返回合并后的排序链表。 从21. 合并两个有序链表的基础上，我们已经能够解决两个有序链表的问题，现在是k个有序链表，我们可以将第一二个有序链表进行合并，然后将新的有序链表再继续跟第三个有序链表合并，直到将所有的有序链表合并完成。 这样做思路上是可行的…

过年这些天，公众号没怎么发文，有很多原因，主要还是因为自己懒。期间也发生了很多有趣的事，今天就来说说。 带女朋友回家。认识她有一年了，今天过年就带回家了，父母也挺满意。家在湖北，别的都好，就是感觉太冷了，在北京习惯了就感觉家里真的太冷了。每天都坐在“炕”旁边，对，南方也会有炕。…

这篇文章主要是参考Docker Logging via EFK (Elasticsearch + Fluentd + Kibana) Stack with Docker Compose，并在其基础上做了一些修改。 Elasticsearch是一个开源搜索引擎，以易用性着称。ki…

写了这篇文章淘宝sign加密算法 之后，很多人问我Chrome断点调试怎么做，今天会尽量详细聊聊。如果你用使用过Pycharm的断点，会更好理解。 我们还是以淘宝为例，使用Chrome的移动请求头打开这个网站，https://s.m.taobao.com/h5?q=%E9%9E…