大数据集群

98 阅读2分钟

大数据集群

分类

集群就是将多台网络之间能够互联互通的服务器,通过软件手段给串联起来,形成这么一个逻辑整体,来解决单台服务器因为资源受限而带来的算力不足,或者单点故障的问题。

不同的连接软件就代表着机器之间的不同连接方式,从而决定集群的种类有所不同。目前主流的集群种类

  1. 主备集群:在原来单点服务器的基础上,增加一台或者多台备用服务器,防止原来的服务器宕机之后,系统无法提供服务,特点是主服务器向外提供服务功能,而备服务器只负责向主服务器备份数据,主服务器不可用时,备服务器才会派上用场(一般需要手动切换)比如MySQL的主备集群
  2. 主从集群:和主备机集群很像,也是主服务向外提供服务,不同的点是从节点还可以提供读服务,在主节点宕机后,从节点自动推为主节点,来保证系统的高可用,典型的有ZooKeeper
  3. 分片集群:规模最大,大数据技术用的最多的集群。是一种master/slaver架构,这个master不直接提供读写服务,他是集群的领导者,指挥下面的slaver干活。读写请求都是通过master转发给slaver,所有的slaver都间接的接受所有的对外读写请求;分片的目的是将一份数据拆分成多个分片,然后存储在不同的slaver机器中,通过对slaver数量的扩展,来降低单台服务器的读写压力,从而提高整个集群的数据服务规模和读写性能,因为是数据分片,所以slaver存储的数据是不一样的,虽然分片集群的核心目的在于将每个数据分片大散在每个分片中,但是每个数据分片依然可以通过设置副本数量,来保证分片的高可用,比如常见的hadoop生态组件,以及所有分布式数据库都是这种集群架构

image.png