本文介绍 Spring Boot 项目中整合 ElasticSearch 并实现 CRUD 操作，包括分页、滚动等功能。 之前在公司使用 ES，一直用的是前辈封装好的包，最近希望能够从原生的 Spring Boot/ES 语法角度来学习 ES 的相关技术。希望对大家有所帮助。 …

本文将聊聊如何使用 Docker 搭建 ELK （Elasticsearch、Logstash、Kibana）。 文章将分两个部分对搭建进行介绍，用于开发测试以及一般分析需求的环境，以及弹性扩容后可以用于一般生产的环境。 因为借助于方便的 Docker，完整操作时间不超过 15…

1. 基于词项和基于全文的搜索 Term是表达语义的最小单位。搜索和利用统计语言模型进行自然语言处理都需要处理Term 在 ES 中，Term查询，对输入不做分词。会将输入作为一个整体，在倒排索引中查找准确的词项，并且使用相关度算分公式为每个包含该词项的文档进行相关度算分 - …

ssd 好处不用说了，但是可能不是我们能决定的，这个知道就行。 ElasticSearch 是一个非常非常吃内存的搜索引擎，搜索过程中的 sort（排序）、agg（聚合），分词过程中的 fieldadd、倒排索引等等，一直在消耗着内存，一定要有足够的 JVM HEAP 在维持这…

Elasticsearch 会查询出前 20 条数据，然后截断前 10 条，只返回 10-20 的数据。 这样做带来的副作用很明显，数据量大的话，越到后面查询越慢。 所以针对大数据量的查询，要使用 scroll。这种方式相当于建立了一个游标，标记当前的读取位置，保证下一次查询快…

Elasticsearch应用之京东搜索 开发环境 spring boot 2.4.2 elasticsearch 7.10.1 lombok 解析网页 jsoup 1.10.2 alibaba fa

最近想把我的mall项目升级下，支持SpringBoot 2.3.0 版本。升级过程中发现需要升级Elasticsearch到7.x版本，学习过我的mall项目的朋友应该知道， 我用的Elasticsearch是6.x版本，升级到7.x以后ElasticsearchTempla…

4. primary shard数量为什么不可变？

ES使用非常广泛，尤其是ELKB，几乎是上点规模的日志系统，都在用它。 日志属于写多读少的业务场景，对写入速度要求很高。拿我们其中一个集群来说，单集群日志量达到百TB，每秒钟日志写入量达到10W条。 使用iotop去观测，可以发现ES的进程几乎占满了SSD磁盘的I/O资源，达到…