子竹聆风

可以看到重试三次之后，抛出异常。今天讲的就是如何处理这个异常，也就是scrapy的errback。 errback函数能捕获的scrapy错误有：连接建立超时，DNS错误等。也就是日志中类似

下载链接： https://cloud.genymotion.com/page/launchpad/download/ 下载之前 需要在 官网上 注册一个 账号。 下载 mac os 64 位 对应的版本。 下载完后 是 dmg ，打开dmg 直接将 Genymotion Sh…

对于互联网企业来说，随着业务的不断拓展，公司所运行的项目越来越多，项目业务逻辑也越来越复杂，需要定制化开发的内容也越来越多。 大数据背景下的舆情公司，由于业务需求数据范围广，无法通过一种统一的方式，来解决所有类型数据的采集。随之而来的，就是定制化开发的采集器越来越多，这些采集器…

说好的教程终于来了，第一篇文章主要来说一说在开始写实际业务代码之前的一些准备工作吧，但这里不会教你 webpack 的基础配置，热更新原理是什么，webpack速度优化等等，有需求的请自行 google，相关文章已经很多了。 如图可见模块有很多，而且随着业务的迭代，模块还会会越…

1/Presto不是什么 Presto一直被一些个人或者团体称为数据库，但是Presto真的不是数据库。 千万不要以为Presto可以解析SQL，那么Presto就是一个标准的数据库。 Presto并

内嵌文档可以降低字段修改对调用者的影响，比如在size字段下增加一个名为"l"的子字段表示书籍长度，对于调用者来说只需要在用到时从size对象中拿出来即可，不需要再去额外获取新的字段。 因此，在内嵌文档较小，更新频率不高时推荐使用内嵌文档来存储数据。 (4)指定列表长度{key…

此刻的我正坐在工位上，看着面前的某网站爬虫代码，陷入了回忆。 这是零工作经验的我入职这家公司以来接到的第一个项目，从零开始写一个爬虫。 既不是在爬虫系统上添加功能，也不是给祖传代码填坑。 我给了自己4、5天时间。 基于程序员必备的搜索技能，我迅速的在github上找到了一个相似…

## 总览 浏览器开发者工具在爬虫中常用来进行简单的抓包分析、JS逆向调试，打开方式： 1. F12； 2. 快捷键 Ctrl+Shift+I； 3. 鼠标右键检查或者审查元素； 4. 浏览器右

## 简介 本文总结了在爬虫中常见的各种加密算法、编码算法的原理、在 JavaScript 中和 Python 中的基本实现方法，遇到 JS 加密的时候可以快速还原加密过程，有的网站在加密的过程中