新人小可爱

给你一幅由 N × N 矩阵表示的图像，其中每个像素的大小为 4 字节。请你设计一种算法，将图像旋转 90 度。 拿到题目，想了会，没思路。我发现了一些规律，但是不知道怎么...

2019年下半年，也就是7月1日，我入职了拼多多。算起来到现在已经4周了，想记录下现在到这边来的感受。 先说下在这边的工作，爬虫只是一方面，数据下游还有很长的应用链，用同事...

来到拼多多有半个月了，自己总结下来，有一句话就是标题说的：比你优秀的人不可怕，可怕的是比你优秀的人比你更努力。 这句话是我的领导经常挂在嘴边的，他是一个很厉害的人，之前做C...

给我留下了一个作业：抓取天猫超市上某些商品的可以配送省份信息。（当时做这个也花了很久，主要是需要解决PC端的登陆问题，后来通过h5接口） 就我简历上的东西问了下底层的东西：...

需要先对 IO 的概念有一定的认识: IO在计算机中指Input/Output，也就是输入和输出。 并发：在操作系统中，某一时间段，几个程序在同一个CPU上运行，但在任意一...

可以看到重试三次之后，抛出异常。今天讲的就是如何处理这个异常，也就是scrapy的errback。 errback函数能捕获的scrapy错误有：连接建立超时，DNS错误等...

cURL是一个利用URL语法在命令行下工作的文件传输工具，1997年首次发行。它支持文件上传和下载，所以是综合传输工具，但按传统，习惯称cURL为下载工具。cURL还包含了...

花了两天时间研究了下，最终确定写一个关于爬虫教程，名字叫做数据采集从入门到放弃，会寄托在Github Pages上，使用mkdocs创作和管理。 本书会介绍我目前所知的所有...

来到新公司，发现爬虫这块可以说是0。所有的东西都需要自己去搭建，之前在造数，什么代理池、部署框架、日志系统全是专门的运维来处理，自己根本就无需管理。现在就会自己去选择、做出...

在开始介绍scrapy的去重之前，先想想我们是怎么对requests对去重的。requests只是下载器，本身并没有提供去重功能。所以我们需要自己去做。很典型的做法是事先定...

有段时间没写东西了，如果你在萌新群里，应该知道我最近换工作的事。简单说，就是辞去了北京的工作，在杭州找到了新工作。 看到手里的离职证明，想着还是写点什么，记录下我毕业后的第...

可以观察到，此类验证码特点明显，4位数字，每个数字所处位置固定。 他这里就是先创建了一个临时文件，将图片写进去，再读取图片。如果需要维持session状态，也可以按照他这样...

最近很多人都在问拉勾反爬是怎么回事，简单说下。 拉勾职位数据都在Ajax加载中，每一个请求都会携带上一次返回的cookies。我们来做个试验，先在浏览器中打开该网址：htt...

现在淘宝的商品搜索页必须要登录才能见，所以必须要cookies才能进行下一步操作。本期介绍如何使用pyppeteer登录淘宝，获取Cookies。 第一次运行时需要下载Ch...

题目：合并 k 个排序链表，返回合并后的排序链表。 从21. 合并两个有序链表的基础上，我们已经能够解决两个有序链表的问题，现在是k个有序链表，我们可以将第一二个有序链表进...

过年这些天，公众号没怎么发文，有很多原因，主要还是因为自己懒。期间也发生了很多有趣的事，今天就来说说。 带女朋友回家。认识她有一年了，今天过年就带回家了，父母也挺满意。家在...

这篇文章主要是参考Docker Logging via EFK (Elasticsearch + Fluentd + Kibana) Stack with Docker C...

写了这篇文章淘宝sign加密算法 之后，很多人问我Chrome断点调试怎么做，今天会尽量详细聊聊。如果你用使用过Pycharm的断点，会更好理解。 我们还是以淘宝为例，使用...

这两天频繁遇到MongoDB插入数据的问题，这里记录下。 问题描述：我有多个线程在抓数据，每天数据里有含有多个文档（Document），使用Pymongo的插入方法，逐条插...

看看最近的新闻都知道Tumblr将在12月17日起下架所有成人内容。具体信息如下，内容来自官网 写了一个爬虫，可以下载Tumblr指定博主的资源，放在了以前的awesome...