悟思空007

GitDataV，是一个github“大数据可视化平台”，通过它你可以更直观的看到你在github里的一些数据，（之所以打双引号，是因为我觉得这个还没到大数据可视化的程度）。其实我在 上篇文章 分享的时候已经提到了这个想法，通过github提供的接口，做一个自己的“大数据分析页…

Titan2.0大数据处理平台是360大数据中心提供的数据集成平台，基于第三代计算引擎，提供批流合一的数据集成、数据同步，数据计算，数据分析等功能或服务，帮助用户和业务快速构建数据体系。本次要分享的是360大数据中心数据处理平台Titan的架构演进，以及一些具体的实践过程。

本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。…

秒杀活动可以说在互联网上随处可见，从 12306 抢票，到聚划算抢购，我们生活的方方面面都可以看到秒杀的身影。秒杀的架构设计也是对于一个架构师架构设计能力的一次考验。本文的目的并不在于提供一个可以直接落地的设计方案，而是意在提供一个简单的方法，一个思路，使大家能够对于秒杀背后的一些设计有更感性的认识, 并且可以自己亲自动手实践一下。所有的配置及源码都在本文最后的 GitHub repository 中可以找到。

Pandas 秘籍

开学啦，让我们来看看豆瓣上有什么好书吧 首先当然是很正经地访问一下网页啦 网站网址是https://book.douban.com/top250?start=0 那么我们所需要的内容就是图片旁边的信息了，那就先让虫子爬过去吧，上吧小虫虫！！！ 好了，get到源代码了，再来看看自…

本文根据链家（现：贝壳）赵国贤老师在DataFun Talk数据架构系列活动“海量数据下数据引擎的选择及应用”中所分享的《大数据平台架构从0到1之后》编辑整理而成，在未改变原意的基础上稍做修改。 大数据平台构建方法大同小异，但是平台构建以后也面临很多挑战，在面临这些挑战我们如何…

在编程过程中，通常会遇到的一个问题就是，性能瓶颈。很多时候考虑的都是怎么去做横向扩展，但偏偏忽略掉了最基本的问题就是系统是否真的已经达到了瓶颈？ 性能瓶颈通常的表象是资源消耗过多外部处理系统的性能不足；或者资源消耗不多但程序的响应速度却仍达不到要求。 寻找过度消耗资源的代码 和…