Elasticsearch 学习笔记Day 03

蛋挞Echo
170 阅读8分钟

hi，我是蛋挞，一个初出茅庐的后端开发，希望可以和大家共同努力、共同进步！

开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 3 天，点击查看活动详情

  • 起始标记->Elasticsearch入门（15讲）：「09 | 基本概念：索引、文档和REST API」
  • 结尾标记->Elasticsearch入门（15讲）：「10 | 基本概念：节点、集群、分片及副本」

索引、文档和REST API

文档 （Document）

  • Elasticsearch是面向文档的，文档是所有可搜索数据的最小单位
    • 日志文件中的日志项
    • 一本电影的具体信息/一张唱片的详细信息
    • MP3 播放器里的一首歌/一篇PDF文档中的具体内容
  • 文档会被序列化成JSON格式，保存在Elasticsearch中
    • JSON 对象由字段组成
    • 每个字段都有对应的字段类型 (字符串 /数值/布尔/日期/二进制/范围类型)
  • 每个文档都有一个Unique ID
    • 你可以自己指定ID
    • 或者通过Elasticsearch自动生成

Json 文档

  • 一篇文档包含了一系列的字段。类似数据库表中一条记录
  • JSON文档，格式灵活，不需要预先定义格式
    • 字段的类型可以指定或者通过Elasticsearch自动推算
    • 支持数组/支持嵌套

image.png

文档的元数据

  • 元数据， 用于标注文档的相关信息
    • _index - 文档所属的索引名
    • _type - 文档所属的类型名
    • _id - 文档唯一ID
    • _source: 文档的原始JSON数据
    • _all: 整合所有字段内容到该字段，已被废除
    • _version: 文档的版本信息
    • _score: 相关性打分

image.png

索引

  • Index -索引是文档的容器，是一类文档的结合
    • Index体现了逻辑空间的概念:每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
    • Shard体现了物理空间的概念: 索引中的数据分散在Shard上
  • 索引的Mapping与Settings
    • Mapping定义文档字段的类型
    • Setting定义不同的数据分布

image.png

索引的不同语言

  • 名词：一个Elasticsearch 集群中，可以创建多个不同的索引
  • 动词：保存一个文档到Elasticsearch 的过程也叫索引（indexinng）
    • ES中，创建一个倒排索引的过程
  • 名词：一个B 树索引，一个倒排索引

Type

  • 在7.0之前，一个Index可以设置多个Types
  • 6.0开始，Type已经被Deprecated。7.0 开始，一个索引只能创建一个Type-“_doc'

抽象与类比

  1. 在7.0之前，一个Index可以设置多个Types
  2. 目前Type 已经被Deprecated, 7.0开始，一个 索引只能创建一个Type -“_doc
  3. 传统关系型数据库和Elasticsearch 的区别
    • Elasticsearch- Schemaless / 相关性 / 高性能全文检索
    • RDMS - 事务性 / Join

image.png

REST API — 很容易被各种语言调用

image.png

一些基本的API

  • Indices
    • 创建 Index
      • PUT Movies
    • 查看所有 Index
      • _cat/indices

image.png

codeDemo

Index 相关 API

#查看索引相关信息 GET kibana_sample_data_ecommerce

#查看索引的文档总数 GET kibana_sample_data_ecommerce/_count

#查看前10条文档，了解文档格式 POST kibana_sample_data_ecommerce/_search { }

#_cat indices API #查看indices GET /_cat/indices/kibana*?v&s=index

#查看状态为绿的索引 GET /_cat/indices?v&health=green

#按照文档个数排序 GET /_cat/indices?v&s=docs.count:desc

#查看具体的字段 GET /_cat/indices/kibana*?pri&v&h=health,index,pri,rep,docs.count,mt

#How much memory is used per index? GET /_cat/indices?v&h=i,tm&s=tm:desc

相关阅读

节点、集群、分片及副本

分布式系统的可用性与扩展性

  • 高可用性
    • 服务可用性 — 允许有节点停止服务
    • 数据可用性 — 部分节点丢失，不会丢失数据
  • 可扩展性
    • 请求量提升 / 数据的不断增长（将数据分布到所有节点上）

分布式特性

  • Elasticsearch的分布式架构的好处
    • 存储的水平扩容
    • 提高系统的可用性，部分节点停止服务，整个集群的服务不受影响
  • Elasticsearch 的分布式架构
    • 不同的集 群通过不同的名字来区分，默认名字“elasticsearch”
    • 通过配置文件修改，或者在命令行中-E cluster .name=geektime进行设定
    • 一个集群可以有一个或者多个节点

节点

  • 节点是一个 Elasticsearch的实例
    • 本质上就是一个JAVA进程
    • 一台机器上可以运行多个Elasticsearch进程，但是生产环境一般建议一台机器上只运行一个Elasticsearch 实例
  • 每一个节点都有名字，通过配置文件配置，或者启动时候 -E node.name=node1指定
  • 每一个节点在启动之后，会分配一个UID,保存在data目录下

Master - eligible nodes 和 Master Node

  • 每个节点启动后， 默认就是一个Master eligible节点
    • 可以设置node.master: false 禁止
  • Master-eligible节 点可以参加选主流程，成为Master节点
  • 当第一个节点启动时候，它会将自己选举成Master节点
  • 每个节点上都保存了集群的状态，只有Master 节点才能修改集群的状态信息
    • 集群状态(Cluster State)，维护了一个集群中，必要的信息
      • 所有的节点信息
      • 所有的索引和其相关的Mapping与Setting信息
      • 分片的路由信息
    • 任意节点都能修改信 息会导致数据的不一致性

Data Node & Coordinating Node

  • Data Node
    • 可以保存数据的节点，叫做Data Node。负责保存分片数据。在数据扩展上起到了至关重要的作用
  • Coordinating Node
    • 负责接受Client的请求，将请求分发到合适的节点，最终把结果汇集到一起
    • 每个节点默认都起到了Coordinating Node的职责

其他的节点类型

  • Hot & Warm Node
    • 不同硬件配置的 Data Node,用来实现Hot & Warm架构，降低集群部署的成本
  • Machine L earning Node
    • 负责跑机器学习的Job,用来做异常检测
  • Tribe Node
    • (5.3开始使用Cross Cluster Serarch) Tribe Node连接到不同的Elasticsearch集群，并且支持将这些集群当成一个单独的集群处理

配置节点类型

  • 开发环境中一个节点可以承担多种角色
  • 生产环境中，应该设置单一的角色的节点(dedicated node)

image.png

分片(Primary Shard & Replica Shard)

  • 主分片，用以解决数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有节点之.上
    • 一个分片是一个 运行的Lucene的实例
    • 主分片数在索引创建时指定，后续不允许修改，除非Reindex
  • 副本，用以解决数据高可用的问题。分片是主分片的拷贝
    • 副本分片数， 可以动态题调整
    • 增加副本数， 还可以在一-定程度上提高服务的可用性(读取的吞吐)

eg：

  • 一个三节点的集群中，blogs索引的分片分布情况
    • 思考：增加一个节点或改大主节点数对系统的影响？
      • number_of_shards:主分片数
      • number_of_replicas:副本数

image.png

分片的设定

  • 对于生产环境中分片的设定，需要提前做好容量规划
    • 分片数设置过小
      • 导致后续无法增加节点实现水平扩展
      • 单个分片的数据量太大，导致数据重新分配耗时
    • 分片数设置过大，默认主分片设置成1，解决了over-sharding的问题
      • 影响搜索结果的相关性打分，影响统计结果的准确性
      • 单个节点上过多的分片，会导致资源浪费，同时也会影响性能

查看集群的健康状况

  • Green-主分片与副本都正常分配
  • Yellow- 主分片全部正常分配，有副本分片未能正常分配
  • Red-有主分片未能分配
    • 例如，当服务器的磁盘容量超过85%时，去创建了一个新的索引

image.png

Demo

  • 查看一个集群的健康状态http:/ /localhost:9200/_ _cluster/health
  • CAT API
    • http:/ /localhost:9200/_ cat/nodes
    • 查看索引和分片
  • 设置分片数
  • Kibana + Cerebro界面介绍

image.png image.pngimage.png

CodeDemo

get _cat/nodes?v GET /_nodes/es7_01,es7_02 GET /_cat/nodes?v GET /_cat/nodes?v&h=id,ip,port,v,m

GET _cluster/health GET _cluster/health?level=shards GET /_cluster/health/kibana_sample_data_ecommerce,kibana_sample_data_flights GET /_cluster/health/kibana_sample_data_flights?level=shards

####cluster state The cluster state API allows access to metadata representing the state of the whole cluster. This includes information such as GET /_cluster/state

#cluster get settings GET /_cluster/settings GET /_cluster/settings?include_defaults=true

GET _cat/shards GET _cat/shards?h=index,shard,prirep,state,unassigned.reason

相关阅读

总结

学习了文档、索引的概念，类比了Elasticsearch和关系型数据库，可以很好的利用Docker的环境以及Cerebro工具，在后续尝试了解Elasticsearch是怎样工作的，学习了什么是一个集群，以及集群中的节点，每个集群每个节点可以承担不同的角色，也了解了什么是主分片，什么是副本分片，各自在分布式的系统当中起到的什么样的作用，通过具体的案例了解当集群中有具体的节点产生故障Elasticsearch的API如何告诉我集群的状况。

此文章为2月Day3学习笔记，内容来源于极客时间《Elasticsearch 核心技术与实战》

avatar
文章
阅读
粉丝