平时使用Elasticsearch的时候，偶尔会在Kibana中使用Query DSL来查询数据。每次要用到Query DSL时都基本忘光了，需要重新在回顾一遍，最近发现Elasticsearch已经支持SQL查询了（6.3版本以后），整理了下其用法，希望对大家有所帮助！ El…

我们都知道，在生产环境中经常会遇到很多异常，报错信息，需要查看日志信息排查错误。现在的系统大多比较复杂，即使是一个服务背后也是一个集群的机器在运行，如果逐台机器去查看日志显然是很费力的，也不现实。 如果能把日志全部收集到一个平台，然后像百度，谷歌一样通过关键字搜索出相关的日志，…

一. 基本概念 1. 分片 最小级别的工作单元，保存索引中一部分数据。是一个Lucene实例，本身就是一个完整的搜索引擎。但是应用程序不会直接与分片通讯。 2. 文档 文档是不可修改的。update是先删除，再新建一个新的 删除的文档并不会被立即移除，只是标记为删除。之后后台再…

不知道大家的公司用Elasticsearch多不多，反正我公司的是有在用的。平时听同事们聊天肯定避免不了不认识的技术栈，例如说：把数据放在引擎，从引擎取出数据等等。 如果对引擎不了解的同学，就压根听不懂他们在说什么（我就是听不懂的一位，扎心了）。引擎一般指的是搜索引擎，现在用得…

ES使用非常广泛，尤其是ELKB，几乎是上点规模的日志系统，都在用它。 日志属于写多读少的业务场景，对写入速度要求很高。拿我们其中一个集群来说，单集群日志量达到百TB，每秒钟日志写入量达到10W条。 使用iotop去观测，可以发现ES的进程几乎占满了SSD磁盘的I/O资源，达到…

ElasticSearch作为一个基于Lucene的搜索引擎被广泛应用于各种应用系统，比如电商、新闻类、咨询类网站。在使用ElasticSearch开发应用的过程中，一个非常重要的过程是将数据导入到ElasticSearch索引中建立文档。在一开始系统规模比较小时，我们可以使用…

1. 创建客户端 在进行开发之前，我们需要下载一个Es依赖库。 这里创建client是使用的NewClient这个方法进行实现的，在创建时，可以提供ES连接参数。上面列举的不全，下面给大家介绍一下。 elastic.SetURL(url)用来设置ES服务地址，如果是本地，就是1…

ssd 好处不用说了，但是可能不是我们能决定的，这个知道就行。 ElasticSearch 是一个非常非常吃内存的搜索引擎，搜索过程中的 sort（排序）、agg（聚合），分词过程中的 fieldadd、倒排索引等等，一直在消耗着内存，一定要有足够的 JVM HEAP 在维持这…

前面我们聊了 Elasticsearch 的索引、搜索和分词器，今天再来聊另一个基础内容—— Mapping。 Mapping 在 Elasticsearch 中的地位相当于关系型数据库中的 schema，它可以用来定义索引中字段的名字、定义字段的数据类型，还可以用来做一些字段…