警察叔叔

在不用爬虫框架的情况下，我经过多方学习，尝试实现了一个分布式爬虫系统，并且可以将数据保存到不同地方，类似 MySQL、HBase 等。因为此系统基于面向接口的编码思想来开发...

spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed ...

本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。 参数说明：该参数用于设置shuffle write task的Bu...

本次分享者：辰石，来自阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。SparkShuffle介绍SmartShuffle设计性能...

HBase 的 RowKey 设计...

这是一个状态图，每个圆圈都是一种状态。很明显，有有25分钱、 没有25分钱、 售出糖果、 糖果售罄四个状态，同时也对应四个动作：投入25分钱，退回25分钱，转动曲柄和发放糖...

升职加薪是所有人都渴望的事情，对于程序员来说也不例外。程序员的加薪分为普调和晋升，普调涨幅较小，大多在10%上下，晋升涨幅较大，往往在20%左右，有的公司甚至可以到30%，...

无论是任何程序员，不论是算法，还是其他，都需要掌握一定的数据结构。本文以最优雅的方式，基于Python，完成算法，不要问，背下来就好。代码量更少，更好背。 1. 括号匹配 ...

此文已由作者赵斌授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 由于目前论坛的Markdown不支持Mathjax，数学公式没法正常识别，文章只能...