这段时间，又互联网寒冬了，你看消息满天飞。一瞬间，裁员的，辟谣的，很是热闹。这搞得我们程序员很难受，本来压力就大，还动不动有人在你耳边煽风点火制造恐慌。我想说：难道就不能消停消停吗？我还清楚地记得2017年的互联网寒冬，这2018的寒冬又来了。那么作为Android程序员如何过…

中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数据，做一些修改…

1. 突破GitHub单个大文件上传限制 GitHub 上新建的仓库容量大小限制在 1G，单个文件不能超过 100M，有 50M 的文件，就会警告了。 可通过以下命令查找超过 100M 的文件：find ./ -type f -size +102400k。 想要突破 GitHu…

第一次翻译文章，之所以会想把这篇文章分享给大家，是因为之前群里一个刚入行的新人寻求建议，问学哪个框架好。而我脑海里想到的却是准备个杯子多喝水，搞个好点的椅子保护好腰，多看源码多逛社区之类的。突然发现，除了技术之外，还有很多工作经验，学习方法，为人处世的东西也很重要，甚至它们是先…

原本只是想简单的聊一下代码格式化的问题，无奈本文拖沓了很久，在此期间，我又思考了很多，我越来越觉得代码格式化是一门艺术。为了衬托“艺术”二字，可能叫“代码美化”更贴切一点，但是本文的深度远没有标题那么宏大。 在我看来，代码质量不仅体现在逻辑上，也要体现在形式上。尤其前端代码，在…

博客的基础功能已经开发的差不多了，虽然还有很多地方可以完善，但我们还是希望早点把博客部署到服务器上，让他人可以通过外网访问。至于有待完善的地方，可以等部署完后一点点地迭代和改进。现在就让我们来把博客部署到服务器上吧！ 注意：本文的每一个步骤都在真实环境下验证无误。除非你知道自己…

在上一篇文章中介绍了下载器中间件的一些简单应用，现在再来通过案例说说如何使用下载器中间件集成Selenium、重试和处理请求异常。 对于一些很麻烦的异步加载页面，手动寻找它的后台API代价可能太大。这种情况下可以使用Selenium和ChromeDriver或者Selenium…

想开发网页爬虫，发现被反爬了？想对 App 抓包，发现数据被加密了？不要担心，使用 Airtest 开发 App 爬虫，只要人眼能看到，你就能抓到，最快只需要2分钟，兼容 Unity3D、Cocos2dx-*、Android 原生 App、iOS App、Windows Mob…

本文将会讲到具体的做法。做法分为两种：第一种是在Airtest的IDE中控制手机。第二种是在Python代码里面控制远程手机。 无论使用哪种方式，要远程控制手机，就需要首先把手机上的adb端口打开。这一步必需先用USB线把手机连上电脑。 其中的端口号48887你可以自行设定为其…