这是我参与「第四届青训营 」笔记创作活动的的第7天
01 元数据高可用
1.1 高可用的需求
高可用的形式
\
1.2 HDFS主备同步实现
- 日志是全局有序的，目录树和文件信息的更新。块的位置信息不在NameNode中保存，而由Datanode上报。
- 持久化FSImage和EditLog
- 一致性问题：NameNode要求DataNode对块信息操作，这个操作不会发送给Standby。产生一致性问题。
1.3 HDFS自动主备切换
\
\
\
1.4 日志系统
BookKeeper简介
\
02 数据存储高可用
2.1 单机存储的数据高可用机制
2.2 HDFS的数据高可用机制
- 一个数据块三个副本在生产环境成本太高！
- 纠查码，可以校验和恢复。
\
\
\
2.3 考虑网络架构的数据高可用
- 每个Rack都有一个交换机。
- 只产生一个跨rack的副本。
2.4 案例
03 元数据搞扩展性
3.1 元数据扩展性挑战
\
3.2 社区的解决方案
\
3.3 字节的NNProxy方案
\
3.4 案例
04 数据存储高扩展性
4.1 超大集群的长尾问题
\
4.2 超大集群的可靠性问题
4.3 超大集群的不均匀问题
\
\
