ElasticSearch

本文介绍工作中Python版常用的高效ES批量插入、更新数据方式 1. 批量插入 2.批量更新 批量更新只需要改动action的以下内容即可 欢迎关注公众号算法小生或沈健的技术博客

1. SSHFS挂载 上传Elasticsearch\fuse-2.9.2-11.el7.x86_64.rpm至ES所在三台机器 上传Elasticsearch\fuse-libs-2.9.2-11.

深入理解聚合分析原理及精确性问题 1. Metric Aggregation 单值分析，只输出一个分析结果 min max avg sum cardinality (类似distinct count)

1. 刨析分布式查询及相关性算分 1.1 分布式搜索的运行机制 ElasticSearch的搜索，会分为两阶段进行 第一阶段 Query 第二阶段 Fetch Query Then Fetch 1.2

分片内部原理及其生命周期 什么是ES分片 ES中最小的工作单元，是一个Lucene的index 一些问题 ES搜索是近实时的 ES在断电时数据不会丢失 删除文档，不会立刻释放空间 1.1 倒排索引不可

1. 分布式特性 ElasticSearch的分布式架构带来的好处 存储的水平扩容，支持PB级数据 提高系统可用性，部分节点停止服务，整个集群服务不受影响 2. 脑裂问题 Split-Brain 当出

1. 相关性和相关性算分 1.1 相关性 搜索的相关性算分，描述了一个文档和查询语句匹配的程度。ES会对每个匹配查询条件的结果进行算分_score 打分的本质是排序，需要把最符合用户需求的文档排在最前

1. 基于词项与全文的搜索 1.1 基于term的搜索 term的重要性：term是表达语义的最小单位 特点： 包括term query\range query\exists query\prefix

1. 聚合分类 Bucket Aggregation：系列满足特定条件的文档的集合，如term range Metric Aggregation：一些数学运算，可以对文档字段进行统计分析, 如min

1. 索引模板创建索引 可以通过http://127.0.0.1:5601/app/management/data/index_management/templateskibana工具进行创建索引模板

1. Analysis与Analyzer Analysis: 文本分析是把全文本转换一系列单词（term/token）的过程，也要分词 Analysis是通过Analyzer来实现的。可使用Elast

1. 倒排索引简介 对于书通过目录查找对应章节内容的方式属于正排索引，而对于想查询文本，如我爱中国在书籍中出现的次数与具体位置，则是倒排索引的范畴。 2. 倒排索引核心组成 单词词典（Term Dic

1. 文档写入 2. 文档查询 3. 文档更新 4. 文档删除 5. 批量操作[不常用，了解，后续通过python或java客户端批量操作] 欢迎关注公众号算法小生或沈健的技术博客

1. 文档 ElasticSearch是面向文档的，文档是所有可搜索数据的最小单位 文档会被序列化成JSON格式，保存在ES中 每个文档都有一个unique ID 1.1 文档元数据 2. 索引 索引

对于之前的部署方式一般用于生产环境，而对于学习而言Docker方式快速部署就好了，本示例在window10环境下进行。 1. Docker使用Elasticsearch 需要对vm.max_map_c

1. 在master节点上创建秘钥库 2. 在所有节点中开启ssl认证 2.1 生成elastic-stack-ca.p12 2.2 生成证书：elastic-certificates.p12 2.3

第一步：安装JDK 第二步：系统配置 2.1 禁用交换区 2.2 开最大文件数的限制 2.3 设置虚拟内存 2.4 线程数量 第三步：创建用户并设置密码 第四步：安装目录介绍 4.1 创建安装包目录