这是我参与11月更文挑战的第5天,活动详情查看:2021最后一次更文挑战
视频课程:极客时间 -- 《Elasticsearch核心技术与实战》-- 配套代码 GitHub
系列文章:
ElasticSearch的安装与简单配置
安装 Java
- 运行 ElasticSearch,需要安装并配置 JDK
- 设置 $JAVA_HOME
- 各个版本对 Java 的依赖
- ElasticSearch 5 需要 Java 8 以上的版本
- ElasticSearch 从 6.5 开始支持 Java11
- www.elastic.co/support/mat…
- 7.0 开始,内置了 Java 环境
ELasticSearch 的文件目录结构
目录 | 配置文件 | 描述 |
---|---|---|
bin | 脚本文件,包括启动 ElasticSearch,安装插件。运行统计数据等 | |
config | elasticsearch.yml | 集群配置文件,user,role based 相关配置 |
jdk | Java 运行环境 | |
data | path.data | 数据文件 |
lib | Java类库 | |
logs | path.log | 日志文件 |
modules | 包含所有 ES 插件 | |
plugins | 包含所有已安装插件 |
JVM 配置
本例中,安装最新版本 7.15.0 (2021.11)
- 修改 JVM - config/jvm.options
- 建议将 Xmx 和 Xms 设置成一样,Xmx 不要超过机器内存的 50%
- 不要超过 30 GB - www.elastic.co/blog/a-heap…
Windows下安装
官网下载巨慢,可以使用华为云镜像
- ElasticSearch: mirrors.huaweicloud.com/elasticsear…
- logstash: mirrors.huaweicloud.com/logstash/?C…
- kibana: mirrors.huaweicloud.com/kibana/?C=N…
- elasticsearch-analysis-ik: github.com/medcl/elast…
- cerebro: github.com/lmenezes/ce…
下载安装包
根据自己需求下载对应安装包,此处下载 windows 对应的版本 elasticsearch-7.15.0-windows-x86_64.zip
解压,双击 bin
目录下的 elasticsearch.bat
启动;
注意一定要检查自己的java环境是否配置好,如果启动后闪退,可能是文件目录有中午或者空格造成的。
启动成功
安装与查看插件
安装 analysis-icu
插件
此处有警告,JAVA_HOME 已过时,Windows在环境变量中配置 ES_JAVA_HOME,配置后会提示需要升级到 JDK 11,可按需升级。
Kibana 的安装与界面快速浏览
Kibana是一个针对ElasticSearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana ,可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单,基于浏览器的用户界面可以快速创建仪表板( dashboard )实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编码或者额外的基础架构,几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。
kibana 汉化
编辑器打开 kibana 解压目录/config/kibana.yml(kibana-7.15.0-windows-x86_64/config/kibana.yml),添加
i18n.locale: "zh-CN"
复制代码
重启kibana
汉化成功
启动 kibana
双击 bin 目录下的 kibana.bat
添加样式示例数据
点击 添加数据
:
提示”已安装“!
开发工具
类似于 Navicat 中的 ”查询功能“,可编写相应脚本操作 ES
推荐快捷键:
查看 API 帮助文档 : Ctrl + / (Windows),cmd + / (MAC)
Kibana Plugins
Use the following command to install a plugin:
bin/kibana-plugin install <package name or URL>
复制代码
Docker 容器中运行 ElasticSearch Kibana 和Cerebo
docker 环境还在配置中,后期进行补充安装;
Logstash 安装与导入数据
安装 Logstash
- 下载并解压缩 Logstash:下载与 ES 相同版本号的logstash,(7.15.0),并解压到相应目录
- 准备 logstash.conf 配置文件:在 bin 目录下创建 logstash.conf 文件
# path修改为,你实际的movies.csv路径
input {
file {
path => "D:/soft/ElasticSearch/logstash-7.15.0/bin/movies.csv"
start_position => "beginning"
sincedb_path => "D:/soft/ElasticSearch/logstash-7.15.0/sincedb"
}
}
...
# 参考
https://github.com/geektime-geekbang/geektime-ELK/blob/master/part-1/2.4-Logstash%E5%AE%89%E8%A3%85%E4%B8%8E%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE/movielens/logstash.conf
https://time.geekbang.org/course/detail/100030501-102665
复制代码
- 启动Elasticsearch实例,然后启动 logstash,并制定配置文件导入数据,在 bin 目录下运行
logstash -f logstash.conf
- 下载最MovieLens最小测试数据集:grouplens.org/datasets/mo…