警察叔叔

经过《ZooKeeper入门》后，我们学会了ZooKeeper的基本用法。 实际上ZooKeeper的应用是非常广泛的，实现分布式锁只是其中一种。接下来我们就ZooKeeper实现分布式锁解决秒杀超卖问题进行展开。 秒杀活动应该都不陌生，不用过多解释。 不难想象，在这种"秒杀"…

首先看下设计模式6大原则的概览。 1、开闭原则 | 对扩展开放，对修改关闭。 2、里氏代换原则 | 子类都可以做到代替基类的出现。 3、依赖倒转原则 | 针对接口编程，依赖于抽象而非具体。 4、接口隔离原则 | 使用多个隔离的接口，比使用单个接口要好。（降低类之间的耦合度） 5…

主播直播助手，部署后，后台批量监测主播是否在线，并实时录制直播保存为视频文件，停播后投稿到 b 站。 streamerInfo 为你要批量录制的主播，key 为标题信息，value 为主播地址，目前支持虎牙平台。 阿里云轻量应用服务器，内存 2g，CPU 1 核，Ubuntu …

在不用爬虫框架的情况下，我经过多方学习，尝试实现了一个分布式爬虫系统，并且可以将数据保存到不同地方，类似 MySQL、HBase 等。因为此系统基于面向接口的编码思想来开发，所以具有一定的扩展性，有兴趣的朋友直接看一下代码，就能理解其设计思想。

spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数…

本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。 参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓…

本次分享者：辰石，来自阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。SparkShuffle介绍SmartShuffle设计性能分析SparkShuffle

HBase 的 RowKey 设计