生成式 AI 字段现在在 ECS 中可用,实现与 OTel 的一致性和兼容性

62 阅读3分钟

作者:来自 Elastic Susan Chang

OTel 和 ECS 帮助用户简化并规范不同 GenAI 供应商和数据源的 GenAI 监控。

在 Elastic,我们开发了 Elastic Common Schema (ECS),以便更容易规范化来自不同来源的数据。我们的文档将 ECS 定义为“一个开源规范,由 Elastic 用户社区支持开发。ECS 定义了一组通用字段,用于在 Elasticsearch 中存储事件数据,例如日志和指标。”

在 2023 年 4 月,Elastic 将 ECS 贡献OpenTelemetry Semantic Conventions (OTel),以支持跨行业开放模式的开发。作为持续的承诺,Elastic 积极继续为 OTel 做出贡献。我们还将 OTel 的重要更新合并回 ECS,因为许多 Elastic 用户已经建立了 ECS 工作流,并可能希望同时运行 OTel 和 ECS。

随着生成式 AI (GenAI) 和 agentic AI 的使用日益增加,对能够捕捉 GenAI 模型请求和响应上下文字段的需求也在增长。

用例包括:

  • GenAI 应用的可观测性

  • 保障和保护生成式 AI 应用

  • 规范来自不同生成式 AI 供应商的日志

  • 用户受益于 OTel 支持,能够使用与 ECS 和 OTel 兼容的开箱即用日志集成。

OTel 和 ECS 中的 GenAI 字段

如上所述,有许多用例用户可能希望监控他们的 GenAI 应用。为满足这一需求,OTel 中添加了 gen_ai 属性。这可能包括会话中的消息信息、大语言模型 (LLMs) 的设置、时间戳、token 计数等。

用户还可以规范化来自不同来源的审核日志。例如,他们可以将 GenAI 字段与 security_rule (OTel) 和 rule (ECS) 结合使用,从护栏中捕获 GenAI 应用中的任何审核活动,例如阻止关键词或潜在恶意活动。
详情请参阅 AWS Bedrock guardrailsAzure OpenAI filters,或各供应商的文档。

ECS 中的生成式 AI 字段在 9.1.0 中以 beta 版本提供

将 OTel 字段引入 ECS 确保与现有 ECS 工作流兼容。同时,它也确保用户能够受益于标准化定义的开箱即用和中立特性,用于监控和保护他们的 GenAI 应用和基础设施。为与仍处于开发阶段的 OTel GenAI 字段保持同步,首批 ECS GenAI 字段已以 beta 版本提供,并可能会有所变更。

你今天就可以在 GenAI 工作流中开始使用这些字段。请访问 ECS gen_ai 字段页面OTel gen_ai 字段页面

本文中描述的任何功能或特性,其发布和时间完全由 Elastic 自行决定。目前尚不可用的功能或特性可能不会按时交付,甚至可能完全不提供。

在本文中,我们可能使用或提及了第三方生成式 AI 工具,这些工具由各自的所有者拥有和运营。Elastic 无法控制这些第三方工具,对于其内容、运行或使用,以及因你使用这些工具可能产生的任何损失或损害,我们不承担任何责任。请在使用 AI 工具处理个人、敏感或机密信息时保持谨慎。你提交的任何数据可能会被用于 AI 训练或其他用途。我们无法保证你提供的信息会得到安全或保密保护。在使用任何生成式 AI 工具之前,你应该熟悉其隐私政策和使用条款。

Elastic、Elasticsearch 及相关标志是 Elasticsearch N.V. 在美国和其他国家的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。

原文:Generative AI fields now available in ECS allowing parity and compatibility with OTel | Elastic Blog