一、背景 公司基于业务发展以及战略部署，需要实现在多个数据中心单元化部署，一方面可以实现多数据中心容灾，另外可以提升用户请求访问速度。需要保证多数据中心容灾或者实现用户就近访问的话，需要各个数据中心拥

在Redis运维过程中，由于bigkey的存在，会影响业务程序的响应速度，严重的还会造成可用性损失，DBA也一直和业务开发方强调bigkey的规避方法以及危害。

Hadoop 社区为了解决 HDFS 横向扩展的问题，早前的版本中实现了基于 ViewFs 的 Federation 架构，而在最新的 Hadoop 版本中，社区又实现了基于 Router 的 Federatio n架构，并且在这个架构之上还实现了许多增强集群管理能力的特性。R…

HDFS客户端操作---文件操作参数优先级测试1.编写测试方法，设置文件副本数量2.将hdfs-site.xml拷贝到resources下，设置副本数为13.参数的优先级HDFS文件下载HDFS文件夹

HDFS客户端操作---IO流操作HDFS文件上传HDFS文件下载定位文件读取1.下载第一块文件数据【文件如果过大就会分块存储，所以需要分块读取】2.下载第二块文件数据3.合并两块文件相关资料

Hadoop的一个重要思想就是移动计算，而不是移动数据。我们更愿意尽可能将计算移动到数据所在节点。因此，HDFS中经常出现客户端和数据在一个节点上，当客户端读取一个数据块时，就会出现本地读取。例如HBase场景，ResionServer写数据一般在HDFS中都会存储三备份副本并…

这样下线速度就十分缓慢，一个datanode一天只能下4w个block。而一个datanode平均有20w个block，这个速度明显不符合要求。 最开始认为是配置问题，我们分析了几种配置，有一定的效果，提高到了6w个block每天，但还是慢。 最后我们从代码层面着手，改变相关数…

下面，我们从 DFSOutputStream 类开始，说明其内部实现原理。 打开一个 DFSOutputStream 流，Client 会写数据到流内部的一个缓冲区中，然后数据被分解成多个 Packet，每个 Packet 大小为 64k 字节，每个 Packet 又由一组 c…

在 hadoop 1.x 的 HDFS 框架中只存在一个 namenode 节点，当这个 namenode 节点出现内存溢出、宕机等意外情况之后，整个系统就会停止服务，直到我们重启这个 namenode 节点。为了解决这个问题，在 hadoop2.x 的 HDFS 框架中，实现…