这是我参与「第四届青训营 」笔记创作活动的第10天。
HDFS 高可用与高扩展性机制分析
这次的课程我们主要需要掌握以下四个方面:
- HDFS 元数据服务的高可用
- HDFS 数据存储高可用
- HDFS 元数据服务的高扩展性
- HDFS 数据存储的高扩展性
首先，我们要先回顾一下前面所学的HDFS HDFS 的架构： HDFS 的主要服务端主要组件是 Client，NameNode 和 DataNode（主节点和从节点），两者通过定时心跳通信。 Client就是客户端，负责文件切片。将大文件切分成多个block进行分布式存储。与namenode通信。获取文件存储地址。 与datanode通信。进行文件读写操作。 NameNode负责维护目录树、文件和块的关系、各个块的副本放置位置等元信息。 DataNode负责维护数据副本，执行 NameNode 下发的副本迁移、副本删除等操作。
元数据的高可用： 系统在困境（比如硬件故障、软件故障、人为错误）中仍可正常工作，正确完成功能，并能达到期望的性能水准，则称为高可用。
备份方式有以下两种： 1.冷备份：备份服务的数据，可以和数据归档相结合。在主服务故障时，利用备份的数据重启。 2.热备份：主服务和备服务同时运行，在主服务故障时，随时可以切换到备服务。
数据高可用： RAID：将多个廉价、不可靠、低性能、容量小的磁盘组装在一起，提供高可靠、高性能、大容量逻辑磁盘服务的一组磁盘列阵方案。
数据中心架构： 1.机架/机柜：将几个服务器统一供电、提供对外网络的固定的物理设备。 2.TOR top of rack：机架顶部（或底部）的交换机，负责机架内服务器和数据中心的其他服务器的网络通信。 3.机房和数据中心都是指大量服务器集中放置的场所。 机房强调的基础设施建设。数据中心则强调机房的业务属性。 4.网络拓扑：按数据中心->机架->机器的顺序，描述进程在网络空间中所处的位置。 5.跨机房专线：由网络服务商提供，连接机房的专用网络。 稳定性和安全性好于公网。 相比于数据中心内网络，吞吐更为有限、延迟更高、成本更高。
元数据扩展性： 有两个扩展性方案：scale up和scale out。 scale up：通过单机的 CPU、内存、磁盘、网卡能力的提升来提升系统服务能力，受到机器成本和物理定律的限制。 scale out：通过让多台机器组成集群，共同对外提供服务来提升系统服务能力。一般也称为高扩展、水平扩展。
数据扩展性： 长尾： 二八定律：在任何一组东西中，最重要的只占其中一小部分，约 20%，其余 80% 尽管是多数，却是次要的。 长尾：占绝大多数的，重要性低的东西就被称为长尾。
百分位延迟： 将所有请求的响应速度从快到慢排序，取其中某百分位的请求的延迟时间。
负载均衡的意义 1.避免热点：少数的不均衡的热点会影响大量的任务。 2.成本： 数据越均衡，CPU、磁盘、网络的利用率越高，成本更低。 3.可靠性:负载均衡可以降低机器故障的发生。
负载均衡性影响因素：多个复杂因素共同影响负载均衡性 1.不同节点上的业务量的平衡。 2.数据放置策略。 3.数据搬迁工具的能力。 4.系统环境。
