虚伪的小萝卜

将一个大文件分成n多小文件。本质和MapReduce的分区类似，都是在分文件。 lzo需要创建索引，才可以支持分割。 常用压缩方式为lzo和snappy。因为尽管gzip和...

YARN(Yet Another Resource Negotiator)是一种资源调度框架。作为一种通用的资源管理平台，可以运行各种各样的程序。 YARN由一个Resou...

元数据作为描述数据的数据，非常重要。NameNode是用来管理元数据信息的。为了保证对元数据能够进行快速检索，一般元数据都保存在NameNode所在机器的内存中。这意味着，...

提高效率，用空间换时间。 此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。 经过对ODS进...

以下不是翻译，只是看完文档之后的一点提炼。 理解：HDFS厉害之处在于高容错，低硬件成本，适合大数据集的高吞吐量。HDFS为了支持对文件系统数据的流访问，放宽了一些POSI...

Block元数据：每个Block的元数据大小大概为150 Bytes。 eg. 副本数：4 机架数： 2...