集群
ElasticSearch 分布式架构的好处
存储的水平扩容
提高系统的可用性,部分节点停止服务,整个集群的服务不受影响。
ElasticSearch的分布式架构
不同的集群通过不同的名字来区分,默认名字:"elasticsearch"。
通过配置文件修改,或者在命令行中 -E cluster.name=xxx 进行设定。
一个集群可以有一个或者多个节点。
节点
节点是一个ElasticSearch的实例,本质上就是一个Java进程,一台机器上可以运行多个ElasticSearch进程,但是生产环境一般建议一台机器上只运行一个ElasticSearch实例。
每一个节点都有名字,通过配置文件配置,或者启动的时候 -E node.name=node1 指定。
每一个节点在启动之后,会分配一个 UID,保存在data目录下。
Master eligible nodes 和 Master Node : 每个节点启动后,默认就是一个Master eligible节点,可以设置 node.master:false禁止。Master-eligible节点可以参加选主流程,成为Master节点。当第一个节点启动的时候,它会将自己选举成Master节点。每个节点上都保存了集群的状态,只有Master节点才能修改集群的状态信息。集群状态(Cluster State),维护了一个集群中必要的信息(所有的节点信息;所有的索引和其相关的Mapping与Setting信息;分片的路由信息)。任意节点都修改信息会导致数据的不一致性。
Data Node : 可以保存数据的节点,叫做Data node。负责保存分片数据。在数据扩展上起到了关键作用。
Coordinating node : 负责接收Client的请求,将请求分发到合适的节点,最终把结果汇聚到一起。每个节点默认都起到了Coordinating Node的职责。
Hot & Warm Node : 不同硬件配置的Data Node,用来实现Hot & Warm 架构,降低集群部署的成本。
Machine Learning Node : 负责跑机器学习的Job,用来做异常检测。
节点类型 配置参数 默认值
master eligible node.master true
data node.data true
ingest node.ingest true
coordinating only 无 每个节点默认都是coordinating节点
machine learning node.ml true(需enable x-pack)分片
主分片(Primary Shard),用以解决数据水平扩展的问题,通过主分片,可以将数据分布集群内的所有的节点上。一个分片是一个运行的Lucene的实例。主分片在索引创建时指定,后续不允许修改,除非 Reindex.
副本(Replica Shard),用以解决数据高可用的问题。分片是主分片的拷贝。副本的分片数,可以动态调整。增加副本数,还可以在一定程度上提高服务的可用性(读取的吞吐)。
分片的设定:
分片数设置过小,导致后续无法增加节点实现水平扩展,单个分片的数据太大,导致数据重新分配耗时。
分片数设置过大,7.0开始,默认主分片设置成1,解决了over-sharding(?)的问题。影响搜索结果的
相关性打分,影响统计结果的准确性。单个节点上过多的分片,会导致资源浪费,同事也会影响性能。关于节点和分片搞不清楚请回看下面文章: