这是我参与「第四届青训营 」笔记创作活动的第1天,我们队今天主要学习探讨内容为分布式存储系统的初步学习。
主要内容 分布式存储系统的主要优点 分布式存储的两种基本手段:复制、分区(切片)
一、分布式存储的主要优点如下: 1、提高数据存储容量:系统的总存储容量是多个组成节点本地存储容量的聚合,系统总存储容量能够随着组成节点数的增加而增大。(即水平可扩展)。 2、提高数据吞吐量:系统的数据读写吞吐量能够随着组成节点数的增加而增大。 3、提高可靠性/可用性:部分存储节点发生故障时数据不丢失;部分存储节点失效时,用户依旧可以读写数据。(容错率) 4、降低数据访问延时:用户可以从地理位置上最接近的节点读取数据。 5、提高分布式数据处理系统的运行效率。
二、复制的基本思想:在多个不同的节点上保存相同数据的多个副本。 该思想带来的好处: 1、复制提供了冗余,如果一些节点不可用,剩余的节点任然可以提供数据服务。 2、多个节点上存储副本可以提高数据吞吐率、改善访问性能。 该思想带来的问题: 1、硬件成本提高。 2、在数据变更时多数据副本之间的之间的一致性是个复杂问题,这需要根据具体应用场景进行权衡。
三、分区(切片)的基本思想:将一个大型数据文件拆分成较小的子集,再将不同的分区指派给不同的节点。 该思想带来的好处: 1、提高了吞吐率:访问数据的负载被分散到多个节点上。 2、提高了可靠性:鸡蛋被放到了多个篮子里。 3、方便了实现数据的并行处理。 该思想带来的问题: 1、跨区查询。 2、合理、动态分区问题。 3、负载均衡问题。 4、分布式事务处理。
上图为数据库被复制和分区的示例。
总结 今天主要学习了分布式存储系统的基本概念,以及两种基本手段,我们对分布式存储有了基本了解,为我们的项目三实施奠定了基础。