Elastic：菜鸟上手指南

你好，我是 Elastic 的刘晓国， Elastic 认证工程师，认证分析师，阿里云最有价值专家。如果大家想开始学习 Elastic 的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面，从初级到高级的方方面面。你如果真的想学习 Elastic Stack 的话，那么你所需要的就是这一篇文章就够了。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。如果你真心喜欢我的文章，请不惜点个赞！让我们一起更好地学习！如果你想按照视频学习，请观看我的文章 “Elastic：培训视频 ”，或者直接在 B 站观看。在这里的所列举的文字只是我写出来文章的一部分，但是足以让你对 Elastic Stack 有一个全面的了解。如果你想阅读所有关于 Elastic Stack 的文章，请参阅链接 Elastic。

如果你想给 CSDN Elastic 社区云做贡献，请访问 elastic.cloud.csdn.net/。谢谢！

除了我这里文章之外，Elastic 社区还定期开展一些 meetup 活动。敬请访问我们的网站 www.bagevent.com/org/738410

我们可以按照如下的步骤来学习：

1) Elasticsearch 简介：对 Elasticsearch 做了一个简单的介绍

2) Elasticsearch 的前世今生

3) Elasticsearch 中的一些重要概念: cluster, node, index, document, shards 及 replica：对 Elastic Stack 里的一些重要的概念做描述。理解这些概念对于我们学习和使用 Elastic Stack 是非常重要的

4) 如何在 Linux，MacOS 及 Windows 上进行安装 Elasticsearch：在我们常用的操作系统上进行安装 Elasticsearch

5) Kibana：如何在 Linux，MacOS 及 Windows上安装 Elastic 栈中的 Kibana：讲述如何在我们的操作系统上安装 Kibana

6) 开始使用 Elasticsearch （1）: 了解如何创建 index，添加，删除，更新文档

7) 开始使用 Elasticsearch （2）：了解如何进行搜索

8) 开始使用 Elasticsearch （3）：了解如何进行分析数据: analyze 及 aggregate 数据

9)  Elasticsearch 存储：

• Elasticsearch：inverted index，doc_values 及 source
• Elasticsearch: 理解 mapping 中的 store 属性

10) 基础知识：

• Elasticsearch: Index template 
• Elasticsearch：可组合的 Index templates - 7.8 版本之后
• Elasticsearch：search template
• Elasticsearch：Dynamic mapping
• Elasticsearch：mapping 定制
• Elasticsearch：Index alias
• Elasticsearch : alias 数据类型
• Elasticsearch：使用 alias 数据类型来遵循 ECS (Elastic Common Schema)
• Elasticsearch: rollover API
• Elasticsearch：运用 scroll 接口对大量数据实现更好的分页
• Elasticsearch：运用 search_after 来进行深度分页
• Elasticsearch：fuzzy 搜索 （模糊搜索）
• Elasticsearch: Reindex 接口
• Elasticsearch: Ngrams, edge ngrams, and shingles
• Elasticsearch： Join 数据类型
• Elasticsearch: nested 对象
• 如何使用 Elasticsearch 中的 copy_to 来提高搜索效率
• Elasticsearch：fielddata 介绍
• Elastic：Elasticsearch 的分片管理策略
• Elasticsearch：分布式计分
• Elasticsearch：Elasticsearch 中的 refresh 和 flush 操作指南
• Elasticsearch：significant terms aggregation
• Elasticsearch：理解搜索中的 precision 及 recall
• Elasticsearch: Ngrams, edge ngrams, and shingles
• Elasticsearch：使用 _validate API 在不执行查询的情况下验证查询
• Elasticsearch：使用 alias 数据类型来遵循 ECS (Elastic Common Schema)
• Elasticsearch：Node 介绍 - 7.9 之后版本
• Elasticsearch：Runtime fields 入门， Elastic 的 schema on read 实现 - 7.11 发布
• Elasticsearch：如何在搜索中实现 should_not 过滤器
• Elasticsearch：使用同义词 synonyms 来提高搜索效率
• Elasticsearch：运用 shard_size 来提高 term aggregation 的精度
• Elastic：Elasticsearch 的分片管理策略
• Elasticsearch：Elasticsearch 中的慢日志
• Elasticsearch：Cluster 备份 Snapshot 及 Restore API
• Elasticsearch：Elasticsearch 中的数据强制匹配
• Elasticsearch：理解 mapping 中的 null_value

11）Elastic：培训视频

12）Core Stack：

• Beats：Beats 入门教程 （一）
• Beats：Beats 入门教程 （二）
• Logstash：Logstash 入门教程 （一） 
• Logstash：Logstash 入门教程 （二）

13) 中文分词器介绍：

• Elasticsearch: analyzer 
• Elasticsearch：IK中文分词器
• Elasticsearch：ICU分词器介绍
• Elasticsearch：Smart Chinese Analysis plugin
• Elasticsearch：Pinyin 分词器
• Elasticsearch：hanlp 中文分词器
• Elasticsearch：如何实现对 emoji 表情符号进行搜索
• Elasticsearch：定制分词器（analyzer）及相关性

14) Aggregations

• Elasticsearch: 运用 shard_size 来提高 term aggregation 的精度
• Elasticsearch: 透彻理解 Elasticsearch 中的 Bucket aggregation 
• Elasticsearch: Rare Terms Aggregation
• Elasticsearch: top_hits aggregation
• Elasticsearch: pipeline aggregation 介绍 
• Elasticsearch: aggregation 介绍
• Elasticsearch: significant terms aggregation 
• Elasticsearch：在 Elasticsearch 中的 Composite Aggregation
• Elasticsearch：通过 sampler 聚合来改善繁重的 Elasticsearch 聚合
• Elasticsearch：Script aggregation (1)  (2)
• Elasticsearch：避免不必要的脚本 - scripting
• Elasticsearch：Serial Differencing aggregation 介绍
• Elasticsearch：聚合所有内容：Elasticsearch 7 中的新聚合
• Elasticsearch：通过 inference pipeline 聚合为你的数据科学增加灵活性
• Elasticsearch：Moving average aggregation 介绍

15) Painless 编程

• Elasticsearch：Painless script 编程
• Elasticsearch：Painless scripting
• Elasticsearch：Painless scripting 高级编程
• Elasticsearch：Painless 编程调试
• Elasticsearch：Painless execute API
• Kibana: 如何在 Kibana 中生成 Scripted fields
• Kibana：使用 Script fields 来提高数据的可观测性
• Elasticsearch：Script aggregation (1)  (2)

16）Ingest pipeline

• Elasticsearch：创建 Ingest pipeline
• 如何在 Elasticsearch 中使用 pipeline API 来对事件进行处理
• Elasticsearch：如何处理 ingest pipeline 中的异常
• Elasticsearch：创建一个Elasticsearch Ingest 插件
• Elasticsearch：Elastic可观测性 - 运用 pipeline 使数据结构化
• Elasticsearch：如何使用 Elasticsearch ingest 节点来丰富日志和指标
• Elasticsearch：创建属于自己的 Ingest processor
• Elasticsearch：深入理解 Dissect ingest processor

17) 启动 Elastic 安全

• Elasticsearch：设置 Elastic 账户安全
• Elasticsearch：用户安全设置
• Elasticsearch：使用 elasticsearch-keystore 配置安全并创建内置用户账号
• Kibana：为不同的用户生成不同的 Space 
• Kibana：为不同的用户生成不同的 Kibana 界面
• Elasticsearch：运用 API 创建 roles 及 users
• Elastic：为 Elasticsearch 启动 HTTPS 访问
• Security：如何安装 Elastic SIEM 和 EDR
• Elastic：为 Elastic Docker 部署设置安全
• Elasticsearch：使用 IP 过滤器限制连接
• Elastic：使用 Postman 来访问 Elastic Stack
• Elasticsearch：创建 API key 接口访问 Elasticsearch
• Elasticsearch：如何让匿名的用户访问受限的资源

18)  解决方案 - Solutions 

      SIEM 及 Endpoint Security:

          - Solutions：Elastic SIEM - 适用于家庭和企业的安全防护 （ 一）

          - Solutions：Elastic SIEM - 适用于家庭和企业的安全防护 （二）

          - Solutions：Elastic SIEM - 适用于家庭和企业的安全防护 （三）

          - Solutions：Elastic SIEM - 适用于家庭和企业的安全防护 （四）

          - Solutions：Elastic SIEM - 适用于家庭和企业的安全防护 （ 五）

         - Security：Elastic Security 入门

         - Security：如何安装 Elastic SIEM 和 EDR

         - Elasticsearch：EQL 入门 - 使用 EQL 检测威胁

         - Elasticsearch：为 Elastic Security 定制 Detection rules

     APM:

          -  Elastic：应用程序性能监视/管理 (APM) 实践

          - Observability：具有 Web 容器安装的 APM Java agent 动手实践 - Apache Tomcat

          - Solutions：如何使用 Elastic APM 来测试多语言微服务应用程序

         - Observability：从零基础到能够完成微服务可观测性的专家 - Service Map 实践

          - Solutions：如何为 Python Flask 应用进行 APM

          - Solutions：如何为 Python Django应用进行 APM

          - Solutions：为 Nodejs 微服务提供APM功能 

          - Observability: 如何为 APM 定制 transactions 及 spans

          - Solutions：安全的 APM 服务器访问

          - A nice article from an Elastic Colleague 

     Enterprise search:

          - Solutions：Elastic Workplace 搜索：随时随地搜索所有内容 （一）

          - Solutions：Elastic Workplace 搜索：随时随地搜索所有内容 （二）

          - Enterprise：如何将自定义数据导入 Elastic Workplace Search - 一个简单的CSV示例

          - Solutions：网站搜索 - Elastic Site Search

          - Solutions：如何运用 Elastic App Search 快速建立出色的 React 搜索体验

          - Enterprise：Elastic App Search 入门

          - Enterprise：Elastic App Search - Web 爬虫器实践 

          - Enterprise：推出 Elastic App Search Web 爬虫器

          - Elastic App Search：免费的产品，可提供出色的搜索体验

          - Enterprise：创建 meta 引擎来扩展你的 App search 体验

    Observability:

          - Elastic：使用 Heartbeat 进行 Uptime 监视

          - Observability: 使用 Elasticsearch，Kibana，Heartbeat 监视网站并使用 Slack 发出警报

          - Observability：网站 User Experience 监控

19)  通知及警报

• Elastic：使用 ElastAlert 发送通知
• Elastic：使用 ElastAlert 发送邮件通知
• X-Pack：创建阈值检查警报 
• Elastic：创建你的第一个 Elastic watcher 
• Elastic：创建你的第一个 Elastic watcher - 邮件通知 
• Elastic：如何创建一个动态的阈值警报 
• Elastic：创建你的第一个 Elastic alert - Webhook 
• Elastic：创建一个 Elastic Log 及 Index alert - 7.7 发布版 
• Elastic: 创建一个 Elastic 邮件警报 - 7.7 发行版
• Elastic：Elastic Maps 基于位置的警报 - 7.10
• Observability: 使用 Elasticsearch，Kibana，Heartbeat 监视网站并使用Slack发出警报

20) 跨集群操作

• Elasticsearch：跨集群搜索 Cross-cluster search (CCS)
• Elasticsearch：跨集群复制 Cross-cluster replication（CCR) 

21) Maps 

• Observability：如何在 Docker 之上使用 Elastic Stack 和 Kafka 可视化公共交通
• Beats：运用 Elastic Stack 分析 COVID-19 数据并进行可视化分析 - 续 
• Beats：运用 Elastic Stack 分析 COVID-19 数据并进行可视化分析
• Kibana：在 Kibana 中定制 Regional Map
• Logstash：导入 zipcode CSV 文件和 Geo Search 体验 
• Kibana：改善地理位置数据摄入 - 7.10
• Observability：使用 Elastic Stack 分析地理空间数据 （一）
• Observability：使用 Elastic Stack 分析地理空间数据 （二）
• Kibana：为 Elastic Maps 添加矢量地图层
• Kibana：通过 Elastic Maps 中的全局行政区层为 IP 分析带来新见解
• Kibana：在 Kibana 中使用 Maps 和 Timelion 分析地震数据
• Elasticsearch：使用 Elasticsearch 进行地理位置搜索

22）机器学习

• Elastic：机器学习的原理及实践 - single metric job
• Elastic：机器学习的实践 - multi metric job
• Elastic：机器学习的实践 - population job
• Elastic：机器学习的实践 - categorization
• Elastic：机器学习 Demo
• Elastic：使用机器学习 API 创建一个任务
• Elastic：机器学习异常的可视化呈现
• Elastic：验证机器学习预测的准确性
• Elastic：使用 Elastic 有监督的机器学习进行二进制分类
• Elasticsearch：在 Elasticsearch 中使用语言识别进行多语言搜索
• Elasticsearch：通过 inference pipeline 聚合为你的数据科学增加灵活性

23）丰富数据及 lookup

• Elasticsearch： NLP （Natural Language Processing）在 Elasticsearch 中的应用
• Logstash：运用 memcache 过滤器进行大规模的数据丰富
• Logstash：Logstash translate 过滤器简介
• Logstash：运用 Elasticsearch 过滤器来丰富数据
• Observability：使用 Elastic Stack 分析地理空间数据 （一）
• Elasticsearch：运用 geoip 处理器来丰富数据
• Logstash：运用 jdbc_streaming 来丰富我们的数据
• Elasticsearch：如何使用 Elasticsearch ingest 节点来丰富日志和指标
• Elasticsearch：enrich processor （7.5发行版新功能）
• Elasticsearch：理解 Elasticsearch 中的 Percolator 数据类型及 Percolate 查询
• Beats：Beats processors
• Logstash：Data转换，分析，提取，丰富及核心操作
• Elastic：我应该使用 Logstash 或是 Elasticsearch ingest 节点?
• Elasticsearch：Terms lookup query - 关联两个不同索引的搜索

24)  监视及管理

• Beats：通过 Metricbeat 实现外部对 Elastic Stack 的监视
• Observability：使用 Elastic Agent 和 Ingest Manager 简化数据导入 （一）
• Observability：使用 Elastic Agent 和 Ingest Manager 简化数据导入 （二）
• Logstash: 启动监视及集中管理
• Elastic：配置 Elasticsearch 服务器 logs

25）各类语言日志导入

• Beats: 使用 Filebeat 进行日志结构化 - Python
• Beats：使用 Elastic Stack 记录 Python 应用日志
• Beats：使用 Elastic Stack 记录 Golang 应用日志
• Beats：使用 Elastic Stack 来记录 Java Apps 日志
• Elastic：运用 Elastic Stack 分析 Spring boot 微服务日志 (一）
• Elastic：运用 Elastic Stack 分析 Spring boot 微服务日志 (二）

26）生命周期管理

• Elasticsearch：Index 生命周期管理入门
• Elastic: 使用索引生命周期管理实现热温冷架构
• Elastic：Data stream 在索引生命周期管理中的应用
• Elastic：Data tiers 介绍及索引生命周期管理 - 7.10 之后版本
• Logstash：为 Logstash 日志启动索引生命周期管理
• Elasticsearch：Snapshot 生命周期管理

27) Canvas

• Kibana：Canvas入门
• Kibana：Canvas 教程 - 创建一个工作台以监视销售
• Elastic：运用 Canvas 实时监控物联网设备状态并控制设备
• Kibana：如何在 Canvas 中动态地显示时间
• Kibana：如何在 Canvas 中动态地显示图片
• Kibana：如何在 canvas 中使用 timelion 绘图
• Kibana：如何在 canvas 中实现 gauge 并动态设置颜色

28) Elasticsearch SQL

• Elasticsearch：Elasticsearch SQL介绍及实例 （一）
• Elasticsearch：Elasticsearch SQL介绍及实例（二）

29) Graph

• X-Pack：Elastic Graph 介绍

30) Elastic certification:

• 如何成为一名 Elastic 认证工程师（ECE）及 Elastic 认证分析师（ECA)

• Elastic 认证种类：www.elastic.co/training/ce…

• Elasric certification FAQ: www.elastic.co/training/ce…

• Certification registration: cloud.elastic.co/

• Elastic certification training:

  • www.elastic.co/webinars/pr…
  • www.elastic.co/webinars/ho…
  • www.elastic.co/training/el…
  • www.elastic.co/training/da…
  • www.elastic.co/blog/elasti…
  • Preparing for the Elastic Certified Engineer Exam - Get Elasticsearch Certified (1)
  • Preparing for the Elastic Certified Engineer Exam - Get Elasticsearch Certified (2)
  • How to Prepare for the Elastic Certified Analyst Exam

如果你想快速地部署自己的集群，请参阅如下的文档：

1. Elastic：在 Elastic 云上3分钟部署 Elastic 集群
2. Elastic：Elastic Cloud 入门
3. Elastic：如何在阿里云上构建 Elastic 集群
4. Elastic：如何在 AWS 上一步一步地安装 Elastic Stack
5. Elastic：用 Docker 部署 Elastic 栈
6. Elastic：为 Elastic Docker 部署设置安全
7. Elasticsearch：Elasticsearch Dockerfile 例子
8. Elastic：Elastic Cloud Kubernetes (ECK) 部署
9. Elastic：使用 Elastic Helm Chart 来部署多节点的 Elasticsearch 集群
10. Elastic：如何在一个机器上同时模拟多个node
11. Elastic：创建 Elasticsearch 集群并为它们配置 TLS 安全通信
12. Elastic：在 Kubernetes 多节点集群部署 Elastic Stack
13. Elastic Stack OSS 版本的安装和 Basic 授权及以上版本的比较
14. Elastic：运用 Elastic Stack 对 Kubernetes 进行监视 （一）（二）（三）（四）（五）
15. Ansile 部署：

• Elastic：如何使用 Ansible自动化部署 Elastic Stack - Overview（一）
• Elastic：如何使用 Ansible自动化部署 Elastic Stack - Elasticsearch （二）
• Elastic：如何使用 Ansible自动化部署 Elastic Stack - Kibana（三）
• Elastic：如何使用 Ansible自动化部署 Elastic Stack -Security（四）
• Elastic：如何使用 Ansible自动化部署 Elastic Stack -Metricbeat（五）

如果你想使用编程的方法把数据导入并搜索：

1. Elasticsearch：Java 运用示例
2. Elasticsearch：应用 Nodejs 来访问 Elasticsearch
3. Elasticsearch：Elasticsearch 开发入门 - Nodejs
4. Elasticsearch：使用 Python 实现 Web Scraper
5. Elasticsearch：Elasticsearch 开发入门 - Python
6. Elastic：如何摄入 Websocket 数据到 Elasticsearch
7. Elasticsearch：运用 Go 语言实现 Elasticsearch 搜索
8. Elasticsearch：Elasticsearch 开发入门 - Golang
9. Elasticsearch：从零开始安装 Elasticsearch 并使用 Python 装载一个 CSV 并读写它
10. Elastic：运用 Elastic Stack 分析 Spring boot 微服务日志

等我们完成了上面的阅读和练习后，我们会对 Elasticsearch 有一个基本的了解。我们可以再挑选相应的文章进行专门地阅读来了解更多关于 Elastic Stack方 面的知识。

如果你想了解更多关于 Logstash 方面的知识，请参阅链接 Logstash。

如果你想了解更多关于 Kibana 方面的知识，请参阅链接 Kibana。

如果你想了解更多关于 Beats 方面的知识，请参阅链接 Beats。

如果你想了解更多关于 Elastic 解决方案的知识，请参阅链接 Solutions。

如果你想了解更多关于 X-Pack 方面的知识，请参阅链接 X-Pack。

如果你想了解更多关于 Kubernetes 方面的知识，请参阅链接 Kubernetes。

如果你想了解所有关于 Elastic 的内容，请参阅链接 Elastic。

如果大家对上面话题需要有更深一步的了解，请告诉我。我会尽力做出更好的文章供大家来参阅!

谢谢大家的关注！

 

关于 Elastic

Elastic 是一家专注搜索的企业。作为 Elastic Stack（Elasticsearch、Kibana、Beats 和 Logstash）的开发者，Elastic 构建了自管理型和 SaaS 型产品，这些产品能够使人们在应用搜索、站点搜索、企业搜索、日志、APM、指标、安全，商业分析等用例中大规模地实时使用数据。全球范围内有数以千计的公司/组织使用 Elastic 来为任务关键型系统提供支持，这些公司/组织包括思科、eBay、高盛、微软、Mayo 医学中心、美国国家航空航天局 (NASA)、纽约时报、维基百科和 Verizon。Elastic 是一家成立于 2012 年的分布式公司，Elasticians 在世界各国开展业务。Elastic 于2018年在中国也成立了独资公司 “弹性搜索（北京）信息技术有限公司”。 更多详情请参见 elastic.co/cn/。

 

有用链接：

1. Elastic 官方网站：www.elastic.co/
2. B 站培训视频 space.bilibili.com/630300453/v…
3. Elastic 中文社区 meetup 活动报名 www.bagevent.com/org/738410
4. Elastic 开发文档：www.elastic.co/guide/index…
5. Elastic 官方会议网站： conf.elasticsearch.cn/
6. Elasticsearch 中文网站：www.elasticsearch.cn/
7. Elastic demos: demo.elastic.co/
8. Elastic 文档：www.elastic.co/guide/index…
9. Elastic 社区：www.elastic.co/community/
10. Elastic 中文社区：elasticsearch.cn/
11. Elastic 视频：www.elastic.co/videos/， www.elastic.co/cn/videos/
12. Elastic 中文博客：www.elastic.co/cn/blog/
13. 腾讯社区：cloud.tencent.com/developer/c…
14. Elasticsearch definitive guide: www.elastic.co/guide/en/el…
15. Elastic 书籍 （1）：github.com/BlackThursd…
16. Elastic 书籍（2）：github.com/BlackThursd…
17. Elastic 认证指南：elasticsearch.cn/article/135…
18. Elastic 认证： www.elastic.co/training/ce…
19. Elastic 培训：training.elastic.co/
20. 掘金mirror网址：juejin.cn/user/261209…
21. Elastic的前世今生：mp.weixin.qq.com/s/FRFGwtDtF…
22. 从Splunk迁移到Elastic？www.elastic.co/splunk-alte…
23. Elastic Workshop elk-workshop.github.io/
24. Elastic Start：www.elastic.co/start
25. tutorialspoint.com: www.tutorialspoint.com/elasticsear…
26. Elastic 同事博客：blog.csdn.net/u013613428?…
27. Elastic Stack 在线：www.bookstack.cn/read/elasti…
28. Elastic workshop 模块1 模块2 文档
29. Elastic RAP 这个真的很好玩