妙言

本篇的主题是数据分层中的ODS的作用，关于数据分层可以参考本篇博客:如何优雅地设计数据分层 。 下面直接进入讨论的主题。 问题： ODS 有的公司说几乎不处理，有的说这一层...

本篇的主题是关于数据模型的规范化和反规范化的讨论，其实也是一种常见的维度建模的设计和业务使用便捷性的冲突。 问题： 在设计数据表的时候，是一个宽表好，还是多个维度表好？ 回...

数据倾斜问题剖析 数据倾斜是分布式系统不可避免的问题，任何分布式系统都有几率发生数据倾斜，但有些小伙伴在平时工作中感知不是很明显。这里要注意本篇文章的标题—“千亿级数据”，...

数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。 迈的过去，将会海阔天空！迈不过去，就要做好准备：...

Map的输出并不是简单的直接写到磁盘，先写到缓冲区，当缓冲区要spill磁盘的时候对缓冲区内容进行排序。 每个MapTask（计算一个split）都有一个环形缓冲区（默认1...

平时的工作中当我们碰到疑难问题的处理时候，在解决问题的同时，有一些很好的工具起到了相当大的作用，在此将会记录下来几乎是最全Java服务端开发用到的工具分享给大家，希望看到此...