冰心的小屋

Presto 有很多和内存相关的参数，如果你刚接触 Presto 难免会迷惑，接下来结合本人工作实践，分享下我的理解。...

通信 当 HDFS 集群启动时，Datanode 如何向 Namenode 进行注册？ 当 HDFS 集群运行时，Namenode 如何收集汇总所有的 Block 信息？...

Hadoop RPC TCP/IP 是一种面向连接的、可靠的、基于字节流的传输层通信协议，Hadoop RPC 通信协议是建立在 TCP/IP 协议之上。...

Replica 对于我们上传的文件，HDFS会复制多份，主要是为了降低数据丢失的风险，复制文件背后是复制 block，block 最终会存储在 datanode 中。...

HDFS 使用类似 Linux 文件目录结构来抽象表示存储的数据结构，使用 inode 来表示目录或文件。...

上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解： 大数据处理的第一...

数据模型是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。有了适合业务和基础数据存储环境的模型，那么大数据就能获得以下好处： 性能：良好的数据模型能帮助我...

企业级的数据集群往往有PB 级的数据、成百上千的各类型运算任务 在一套集群上运行。 所以它的维护是充满挑战的： 庞大的数据量、复杂的运算逻辑、相互关联的大数据组件、数以万计...