elasticsearch+kibana+logstash

映射是定义文档及其包含的字段的存储和索引方式的过程。例如，使用映射定义： Metadata fields ：元数据字段用于自定义如何处理文档的相关元数据。元数据字段的示例包括文档的 _index ，_id 和 _source 字段。 Fields ：映射包含与文档相关的字段或属…

将文档索引到 Elasticsearch 中会以内存和 CPU 负载的形式引入系统负载。每个索引操作都包括协调，主要和复制阶段。这些阶段可以跨集群中的多个节点执行。 索引压力可以通过外部操作（例如索引请求）或内部机制（例如恢复和跨集群复制）来产生。如果将过多的索引工作引入系统，…

索引排序对于组织 Lucene doc ID（不与 _id 进行合并）可能会很有用，以使连接（ a AND b AND ...）更有效的方式进行。 为了高效，连词依赖于以下事实：如果任何子句不匹配，则整个连词都不匹配。 通过使用索引排序，我们可以将不匹配的文档放在一起，这将有助…

在 Elasticsearch 中创建新索引时，可以配置如何对每个分片内的 segments 进行排序。默认情况下，Lucene 不进行任何排序。 index.sort.* 设置定义应使用哪些字段对每个 Segment 中的文档进行排序。 WAENING: 嵌套字段与索引排序不…

对 Lucene 的更改仅在 Lucene 提交期间才保留在磁盘上，这是一个相对昂贵的操作，因此无法在每次索引操作或删除操作之后执行更改操作。如果发生进程退出或硬件故障，Lucene 会把在一次提交之后到另一次提交之前发生的更改从索引中删除。 Lucene 的提交太昂贵而无法执…

默认情况下，Elasticsearch 完全依靠操作系统文件系统缓存来缓存 I/O 操作。可以设置 index.store.preload ，以告知操作系统在打开时将热索引文件的内容加载到内存中。此设置接受以逗号分隔的文件扩展名列表：扩展名在列表中的所有文件将在打开时预加载。这…

使用存储模块，您可以控制如何在磁盘上存储和访问索引数据。 NOTE：这是一个低级别的设置。某些存储实现的并行性很差，或者禁用了堆内存使用的优化。我们建议坚持默认设置。 有不同的文件系统实现或存储类型。默认情况下，Elasticsearch 将根据操作环境选择最佳实施。 WARN…

分片级别的慢速搜索日志允许将慢速搜索（查询和提取阶段）记录到专用日志文件中。 以上所有设置都是动态的，可以使用 update indices settings API 为每个索引进行设置。例如： 默认情况下，均未启用（设置为 -1 ）。级别（ warn, info, debug…

相似度（评分/排名模型）定义了匹配文档的评分方式。每个字段具有相似性，这意味着可以通过映射为每个字段定义不同的相似性。 配置自定义相似性被认为是专家功能，并且内置相似性很可能足以满足相似性中的描述。 大多数现有或自定义相似性都有配置选项，可以通过如下所示的索引设置进行配置。创建…

Elasticsearch 中的分片是 Lucene 索引，Lucene 索引分为多个部分。段是索引中存储索引数据的内部存储元素，并且是不可变的。较小的段会定期合并为较大的段，以保持索引大小不变并清除删除的。 合并过程使用自动限制来平衡合并和其他活动（例如搜索）之间硬件资源的使…

当创建索引或使用 put mapping API 时，该模块作为添加到索引的类型映射定义的注册表。 它还处理对没有预定义显式映射的类型的动态映射。 有关映射定义的更多信息，请查看 mapping section 。

索引块限制了特定索引上可用的操作类型。这些块有不同的样式，可以阻止写，读或元数据操作。可以使用动态索引设置来设置/删除这些块，或者可以使用专用的 API 来添加这些块，这还可以确保写入块，一旦成功返回给用户，则索引的所有分片都可以正确地拥有该块，例如添加写块后，所有对索引的动态…

您可以使用索引级别的分配设置来控制将索引分配到的 data tier 。数据层分配器是一个 shard allocation filter ，它使用两个内置节点属性：_tier 和 _tier_preference 。 NOTE: 数据角色不是有效的数据层，不能用于数据层过滤。…

集群级分片分配器尝试将单个索引的分片分布在尽可能多的节点上。但是，根据您拥有的分片和索引的数量以及它们的大小，可能并不总是能够均匀地分布分片。 将分配给单个节点的最大分片数（副本和主副本）。默认为无限。 （动态）分配给每个节点的主要和副本碎片的最大数量。默认为 -1（无限制）。…

只要有可能，就会按优先级顺序恢复未分配的分片。索引按优先级排序如下： 这意味着，默认情况下，较新的索引将在较旧的索引之前恢复。 使用每个索引的动态可更新 index.priority 设置来自定义索引优先级顺序。例如：

将副本分片提升为主分片，以代替所有之前在该节点上的主分片。 分配副本分片以替换丢失的副本（假设有足够的节点）。 在其余节点之间平均分配碎片。 这些操作旨在通过确保尽快完全复制每个分片来保护集群免受数据丢失。 即使我们在节点级别和集群级别都限制了并发恢复，但是这种 “shard-…

您可以使用分片分配过滤器来控制 Elasticsearch 在何处分配特定索引的分片。这每个索引过滤器与集群范围的分配过滤和 allocation awareness 结合使用。 分片分配过滤器可以基于自定义节点属性或内置的 _name, _host_ip, _publish_…

Shard allocation filtering ：控制将哪些分片分配给哪些节点。 Delayed allocation ：由于节点离开而导致延迟分配未分配的分片。 Total shards per node ：每个节点的相同索引的分片数量的硬限制。 Data tier a…

可以被高级查询（例如 match query ）使用以生成搜索字词。 有关配置详细信息，请参见 Text analysis 。

集群中的每对节点都通过许多 TCP 连接进行通信，这些 TCP 连接保持打开状态，直到一个节点关闭或由于基础结构故障导致节点之间的通信中断。 通过隐藏通信应用程序中的临时网络中断，TCP 可以在偶尔不可靠的网络上提供可靠的通信。在通知发件人任何问题之前，您的操作系统将多次重发丢…