DJun小丁

在小程序界里，生成图片分享到朋友圈这个功能，是如此得光芒耀眼，以至于各个小程序都趋之若鹜地前来跪倒在她的石榴裙下。不幸的是，微信爸爸并没有提供给我们很好很便捷的相关工具；恰恰相反，屏幕截屏的功能被残忍丢进历史的垃圾桶，只留下一个Canvas组件以及围绕在其周围的深渊巨坑们。 所…

最近我的好友在写项目的时候经常会抱怨数据的来源，的确对于一个前端来说，数据接口数据资源永远是Mock。网上看很多大神python，node玩的飞起。但自我感觉，并没有一套好的流程方案可以走进我们开发的流程中。为了帮助我的好友并且需要数据的你来说，可以仔细的看看整套流程。因为我也…

解析防爬虫机制和使用Ajax异步请求

本篇，博主将分享另一个模拟登录的实例供大家分享，模拟登录拉勾网。 废话不多说了，还是老套路使用fiddler或者开发者工具来帮助我们完成模拟登录的整个过程，通过观察http的headers请求头来模拟 post 请求各种参数。当然如何找到这些参数就显得尤为重要了，一些参数是时间…

我们在做爬虫的过程中经常会遇到这样的情况，最初爬虫正常运行，正常抓取数据，一切看起来都是那么美好，然而一杯茶的功夫可能就会出现错误，比如403 Forbidden，这时候打开网页一看，可能会看到“您的IP访问频率太高”这样的提示。出现这种现象的原因是网站采取了一些反爬虫措施。比…

Nutch是一个非常成熟的产品化网络爬虫。

有时候我们在用requests抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果并没有。这是因为requests获取的都是原始的HTML文档，而浏览器中的页面则是经过JavaScript处理数据后生成…

上面是维基百科的介绍. 较少的控制开销。在连接创建后，服务器和客户端之间交换数据时，用于协议控制的数据包头部相对较小。在不包含扩展的情况下，对于服务器到客户端的内容，此头部大小只有2至10字节（和数据包长度有关）；对于客户端到服务器的内容，此头部还需要加上额外的4字节的掩码。相…

今天小编带大家一起来利用Python爬取网易云音乐，分分钟将网站上的音乐down到本地。 跟着小编运行过代码的筒子们将网易云歌词抓取下来已经不再话下了，在抓取歌词的时候在函数中传入了歌手ID和歌曲名两个参数，其实爬取歌曲也是同样的道理，也需要传入这两个参数，只不过网易云歌曲的U…