ElasticSearch节点、集群、分片及副本

232 阅读3分钟
集群

ElasticSearch 分布式架构的好处

存储的水平扩容

提高系统的可用性,部分节点停止服务,整个集群的服务不受影响。

ElasticSearch的分布式架构

不同的集群通过不同的名字来区分,默认名字:"elasticsearch"。

通过配置文件修改,或者在命令行中 -E cluster.name=xxx 进行设定。

一个集群可以有一个或者多个节点。

节点

节点是一个ElasticSearch的实例,本质上就是一个Java进程,一台机器上可以运行多个ElasticSearch进程,但是生产环境一般建议一台机器上只运行一个ElasticSearch实例。

每一个节点都有名字,通过配置文件配置,或者启动的时候 -E node.name=node1 指定。

每一个节点在启动之后,会分配一个 UID,保存在data目录下。

Master eligible nodes 和 Master Node : 每个节点启动后,默认就是一个Master eligible节点,可以设置 node.master:false禁止。Master-eligible节点可以参加选主流程,成为Master节点。当第一个节点启动的时候,它会将自己选举成Master节点。每个节点上都保存了集群的状态,只有Master节点才能修改集群的状态信息。集群状态(Cluster State),维护了一个集群中必要的信息(所有的节点信息;所有的索引和其相关的Mapping与Setting信息;分片的路由信息)。任意节点都修改信息会导致数据的不一致性。

Data Node : 可以保存数据的节点,叫做Data node。负责保存分片数据。在数据扩展上起到了关键作用。

Coordinating node : 负责接收Client的请求,将请求分发到合适的节点,最终把结果汇聚到一起。每个节点默认都起到了Coordinating Node的职责。

Hot & Warm Node : 不同硬件配置的Data Node,用来实现Hot & Warm 架构,降低集群部署的成本。

Machine Learning Node : 负责跑机器学习的Job,用来做异常检测。

节点类型               配置参数           默认值
master eligible      node.master       true
data                 node.data         true
ingest               node.ingest       true
coordinating only      无               每个节点默认都是coordinating节点
machine learning     node.ml           true(需enable x-pack)
分片

主分片(Primary Shard),用以解决数据水平扩展的问题,通过主分片,可以将数据分布集群内的所有的节点上。一个分片是一个运行的Lucene的实例。主分片在索引创建时指定,后续不允许修改,除非 Reindex.

副本(Replica Shard),用以解决数据高可用的问题。分片是主分片的拷贝。副本的分片数,可以动态调整。增加副本数,还可以在一定程度上提高服务的可用性(读取的吞吐)。

分片的设定:
    分片数设置过小,导致后续无法增加节点实现水平扩展,单个分片的数据太大,导致数据重新分配耗时。
    分片数设置过大,7.0开始,默认主分片设置成1,解决了over-sharding(?)的问题。影响搜索结果的
        相关性打分,影响统计结果的准确性。单个节点上过多的分片,会导致资源浪费,同事也会影响性能。



关于节点和分片搞不清楚请回看下面文章:

www.jianshu.com/p/e04952c9f…