崔庆才丨静觅

我们在前面已经实现了Scrapy微博爬虫，虽然爬虫是异步加多线程的，但是我们只能在一台主机上运行，所以爬取效率还是有限的，分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提高爬取的效率。 在了解分布式爬虫架构之前，首先回顾一下Scrapy的架构，如下图所示。 S…

Facebook数据泄露事件一度成为互联网行业的焦点，几百亿美元市值瞬间蒸发，这个代价足以在地球上养活一支绝对庞大的安全团队，甚至可以直接收购几家规模比较大的安全公司了。 虽然媒体上发表了很多谴责的言论，但实事求是地讲，Facebook面临是一个业界难题，任何一家千亿美元的互联…

为大家揭秘了 Airbnb 是如何解决大数据的存储应用以及跨洋的数据平台的搭建和支持，详析 Airbnb 大数据挑战和解决方案，分享如何解决大数据高效存储和计算的过程，并了解如何进行大数据平台的跨洋支持。

大家好，我是来自贝壳金控的赵文乐，目前主要从事架构方面的工作。今天我想跟大家分享《基于 Spring Cloud 的服务治理实践》。我先简单向大家介绍一下服务治理的概念，然后介绍实际案例中的实践。

Kenneth Reitz 出品，必属精品。 『上古时代』的 Pythonist 是这样安装依赖包的。 这个问题初看起来不是问题，但是随着你安装程序的增多就知道有多么痛苦了。 后来，我们是这样安装包的。 我们可以直接从 pypi 进行安装了。但尼玛，为什么 easy_insta…

如果你想了解更多 http 头信息的知识，请关注 5 月 22 号安德鲁在伦敦的演讲。 http 头信息是控制缓存和浏览器处理web内容的一种重要方式。但很多时候它都被错误或冗余地使用，这不仅没有达成我们的使用目的，还增加了加载页面时的运行开销。这篇 http 头信息的系列博文…

今天来说下gobox中的异常定义和杂项工具。 很多语言提供了异常机制，但是go没有，相似的能力可以用panic/recover来模拟，但是官方并不推荐这样做。 我们在系统中定义错误时通常需要错误码errno和错误信息msg，这个包就是简单的包装了下这两个常用的错误内容。 gom…

有趣。 实用。 技术性很强。 K 神介绍 pipenv 这种包管理工具，属于有趣并且实用的东西。这是有趣的东西，实用的，指的关注的演讲。 介绍社区新出彩的依赖库，介绍一些优化类的，算法与数据结构类，异步之类的，这是技术性很强的东西。 像国内一些无聊的，贴中小公司压根不能落地技术…

在上一节我们实现了Scrapy对接Selenium抓取淘宝商品的过程，这是一种抓取JavaScript动态渲染页面的方式。除了Selenium，Splash也可以实现同样的功能。本节我们来了解Scrapy对接Splash来进行页面抓取的方式。 请确保Splash已经正确安装并正…