在不用爬虫框架的情况下，我经过多方学习，尝试实现了一个分布式爬虫系统，并且可以将数据保存到不同地方，类似 MySQL、HBase 等。因为此系统基于面向接口的编码思想来开发，所以具有一定的扩展性，有兴趣的朋友直接看一下代码，就能理解其设计思想。

一直觉得自己之前写的使用定时抓取构建IP代理池实在过于简陋，并且有一部分的代码写的并不合理，刚好最近又在学习多线程，就将之前的代码进行了重构，也方便对抓取代理ip有需求的人。之前自己写的那篇文章就不删

讲师介绍：陶辉，曾在华为、腾讯公司做底层数据相关的工作，写过一本书叫《深入理解Nginx：模块开发与架构解析》，目前在杭州智链达作为联合创始人担任技术总监一职，目前专注于使用互联网技术助力建筑行业实现转型升级。 今天的分享主要在Nginx的性能方面，希望能给大家带来一些系统化思…

本文基于Netty4.1展开介绍相关理论模型，使用场景，基本组件、整体架构，知其然且知其所以然，希望给读者提供学习实践参考。 Netty是 一个异步事件驱动的网络应用程序框架，用于快速开发可维护的高性能协议服务器和客户端。 可靠性能力补齐，开发工作量和难度都非常大。例如客户端面…

xxl-job在鼎鼎大名的quartz任务调度系统上进行了二次封装，变得更好用了项目地址：https://github.com/xuxueli/xxl-job官方文档：http://www.xuxue

推送系统作为通用的组件，存在的价值主要有以下几点会被多个业务项目使用，推送系统独立维护可降低维护成本推送系统一般都是调用三方api进行推送，三方api一般会有调用频率/次数限制，被推送的消息需要走队列

API网关可以看做系统与外界联通的入口，我们可以在网关进行处理一些非业务逻辑的逻辑，比如权限验证，监控，缓存，请求路由等等。 RPC协议转成HTTP。 由于在内部开发中我们都是以RPC协议(thrift or dubbo)去做开发，暴露给内部服务，当外部服务需要使用这个接口的时…

0. 移动分析的过去与未来 移动分析，这个名字其实不够全面，本质上是“移动数据分析”。因此我们接下来讨论的具体业务问题虽然仍在数据统计分析的范畴，但由于移动端应用的蓬勃发展，因此我们将具体业务与 BI、数据仓库等技术深度结合，并逐步推演沉淀了移动分析架构设计的思考。 发展初期：…