Elastic 9.2 都用上GPU了!性能和功能的大幅提升

94 阅读4分钟

Elasticsearch

  • Lucene 10.3 改进了lexical, vector, primary-key 搜索性能
  • 向量搜索功能性能提升
    • GPU 加速索引构建#135545 PR Merge进了主干,使用Nvidia cuvs lib来加速索引构建,目前支持 HNSWINT8_HNSW , 需要设置开关才能测试这项新功能。
    • DiskBBQ:允许直接从磁盘读取紧凑聚类的量化向量,无需将完整索引加载到内存中。此设计在减少内存使用的同时保持了召回率和查询性能。基准测试显示,即使在总内存为100 MB的情况下,延迟也低于20毫秒。
    • 默认从_source中排除向量:这有助于减少存储开销并提高索引性能。
    • Neon AVX2 AVX512 Float32 向量运算底层优化#130635 PR为Linux/Mac AArch64和Linux x64(AVX2和AVX 512)上的 Float32 向量操作提供了约 2倍 的性能提升。
    • BBQ重新评分可以使用 direct IO:rescore性能可能受到可用的系统页面缓存之外的RAM的影响。如果没有足够的RAM来将所有向量数据适配到内存中,BBQ搜索延迟可能会受到最多5000倍的影响。使用直接IO,在内存较少的情况下消除了这些非常高的搜索延迟,但如果向量都可以放进内存,会降低BBQ索引的向量搜索性能。
    • 加权RRF:该PR实现了对加权RRF检索器的支持,允许用户在RRF检索器配置中为每个子检索器指定自定义权重。
  • ES|QL 功能大幅跃进
    • 增加对多字段Lookup Join的支持:例如 FROM index1 | LOOKUP JOIN lookup_index ON field1, field2
    • 增加基于表达式的Lookup Join: 例如 FROM index1 | LOOKUP JOIN lookup_index on left_field1 > right_field1 AND left_field2 <= right_field2
    • 跨集群索引上执行包含LOOKUP JOIN的查询: 例如 FROM logs-*, remote:logs-* | LOOKUP JOIN clients on ip
    • 增加新的函数 例如 KNN函数,支持 geohash, geotile and geohex grid types 等等,列表太长此处装不下了 :)
  • Logsdb Failure Store
    • Failure Store 现在默认对匹配模式logs-*-*的新日志数据流启用,这意味着此类数据流现在会把无效文档存储在一个专用的失败索引中,而不是拒绝它们,从而在不丢失数据的前提下提高对数据质量问题的可视性和控制。

Kibana

  • Discover Tabs:现在可以一键在多个Tab间切换, 方便用户在多个任务中来回比较和验证,这个真的是非常棒的功能,作为Kibana中用的最多的一个功能,后续还会围绕Discover进行大幅度增强!
  • 在后台长时间运行搜索: 新功能允许用户将ES|QL、KQL或DSL查询作为异步作业直接在Discover中运行。在不阻碍工作流程的情况下启动长达数小时的搜索,并在完成后收到通知。

Search & AI

  • Elastic Agent Builder:一系列由AI驱动的功能,帮助开发人员与其Elasticsearch数据进行对话,简化定制AI代理的开发,以实现更高的准确性、相关性和效率。
  • ELSER on EIS:ELSER是Elastic面向搜索相关性提供的开箱即用的稀疏向量模型,现在可以在Elastic托管的推理服务EIS上面启用GPU加速推理,提供行业领先的相关性和性能,同时显著降低推理操作的成本。

Elastic可观测

  • Streams:一系列AI驱动的功能,利用LLM自动解析、压缩和展示原始日志中的非结构化数据,让使用Elastic可观测性的SRE能够更快地解决问题。
  • 对指标数据分析的大幅增强: ES|QL新的时间序列命令 TS 提供10倍的查询性能提升,同时交互式发现通过自动生成的查询简化了指标探索和可视化。此外,新的OTLP指标终端点提高了吞吐量多达60%

Elastic安全

  • 仪表板的自动迁移:显著减少了入门时间,帮助用户从Splunk迁移自定义仪表板到Elastic。
  • 检测规则的自动迁移:已普遍可用,使用户能够指定其偏好匹配的Elastic规则或执行自定义规则翻译。用户还将能够批量更新具有缺失索引模式的部分翻译规则。
  • 聊天共享:简化了协作,使安全分析师更容易在其组织内分享有价值的AI助手对话,同时确保适当的安全控制。
  • 设备控制:赋予安全团队定义和执行配置来管理存储设备使用的能力 此外 Elastic Defend 检测和响应仪表板 提供开箱即用的终端检测活动的可见性。