作者：来自 Elastic James Spiteri
正如我们在过去一年半中看到的那样，生成式 AI 对安全分析师的工作流程非常有益。大型语言模型 (Large language models - LLMs) 是有关网络安全的所有事物的庞大知识资源，几乎可以提出与安全分析师工作流程相关的任何问题。
我们看到客户在其安全运营工作流程中使用 Elastic AI Assistant 取得了令人难以置信的成果，从而实现了高效的运营和更高的生产力。
但是，在回答有关超出其培训截止日期的公共内容的问题或与私人数据源相关的问题时，LLMs 显得力不从心。
有多种策略可以将自定义知识源与 LLMs 结合使用 - 其中大多数都相当昂贵或耗时，例如微调或指令调整。 由于我们不断处理新数据，这些模型的保质期也很短 - 几乎在生成的第二秒就过时了。
Elastic Search AI 平台来救场
在 Elastic，我们能够采用不同的方法为 Elastic AI Assistant 用户解决这个问题。基于 Elastic Search AI 平台，我们能够使用一种称为检索增强生成 (etrieval augmented generation - RAG) 的技术，用用户 Elasticsearch 集群中包含的内容来补充 LLM 的知识。更重要的是，我们能够为安全运营团队构建工作流，以简单、直观的方式使用 RAG — 无需使用外部工具、代码或脚本。
这使团队能够以安全、灵活且可扩展的方式轻松弥合其私有数据源与 LLM 之间的差距。
它是如何工作的？
当为 Elastic AI Assistant 提供额外的知识源时，可以根据用户提出的问题使用它们。Elastic AI Assistant 能够识别是否需要先引用和搜索知识源，然后再将查询交给所选的 LLM，从而使 LLM 能够获得回答用户问题所需的上下文。
Elastic Search AI Platform 功能允许根据用户问题的意图和语义搜索和检索正确的内容。这很重要，因为不正确的内容会导致 LLM 提供错误的响应，而发送过多的内容最终会变得昂贵且无效。仅检索用户已授权的数据也很重要。自定义知识源不应被视为 “免费”，而应像任何其他数据源一样遵守基于角色的访问控制 (role-based access controls - RBAC) 策略。
为 Elastic AI Assistant 添加知识源
自定义知识源可以采用简单文本或 markdown 条目的形式，也可以采用已配置语义文本（semantic text）字段的索引的形式。新的知识设置用户界面使添加自定义知识源的过程变得轻而易举，允许你配置该知识的内容和共享设置。
此外，用户现在可以在对话中要求 Elastic AI Assistant 将内容记为知识。只需告诉 Elastic AI Assistant 你希望记住的内容，它将作为自定义知识源供今后使用。
以下是自定义知识源的一些使用示例：
- 附加包含资产信息的索引，例如在配置管理数据库 (configuration management database - CMDB) 中找到的内容
- 添加你最喜欢的威胁情报报告以在对话中使用
- 包含任何现有威胁搜寻剧本或标准操作程序的文档
- 历史事件或案例信息
- 值班时间表
示例
将威胁情报报告 PDF 添加为自定义知识
安全运营团队通常会维护威胁情报报告库，这些报告中包含了供应商提供的大量知识。然而，挑战在于这些报告通常以 PDF 格式存储，这使得在事件响应或调查中检索和引用相关信息变得困难，也难以利用其中的威胁指标（ indicators of compromise - IoCs）进行威胁狩猎。借助Elastic AI助手将这些报告用作知识库，这一局面将彻底改变。
让我们以 2024 年 Elastic 全球威胁报告为例。
步骤 1. 启用和设置知识库
这是一个非常简单的步骤，它处理了 Elastic AI Assistant 使用知识库内容所需的一些先决条件。它是助手管理设置中的一个按钮。该过程只需几分钟即可完成。
第 2 步. 上传 PDF
知识库设置完成后，我们可以继续上传 PDF。为此，我们可以使用集成页面中名为 “Upload a file” 的集成。
你可以从下一个屏幕中选择 PDF。
出现提示时单击 Import。
下一步，我们需要转到 “Advanced” 选项卡。上传后，此 PDF 将保存在其自己的索引中，因此请随意命名索引。无需创建数据视图。
在单击 import 按钮之前还有最后一步。我们需要添加一个语义文本（semantic text）字段。这允许助手从报告中检索正确的信息。
单击 Add additional field，然后单击 Add semantic text field。
你可以保留单击 “Add semantic text field” 后出现的默认设置。
你现在可以单击 “Import”。
当文件导入成功后，你应该看到以下状态：
值得注意的是，虽然我们使用文件上传用户界面来添加此 PDF，但可以使用附件处理器（attachment processor）将此功能作为任何摄取过程的一部分自动执行。
步骤 3. 将 PDF 索引添加为自定义知识
返回 AI 设置页面，选择 New 以添加新的知识条目，然后从列表中选择 Index。
然后，系统会要求你选择刚刚创建的索引（在我们的示例中为 “global-threat-report-kb”）、我们刚刚创建的语义文本字段（content）以及助手应如何以及何时使用这些知识的描述。这应该是一个简单的句子描述，说明数据是什么以及何时以及如何查询数据。你还可以从此视图中设置此知识条目的相关权限。准备就绪后，点击 Save。
添加后，你应该在列表中看到新的知识条目：
威胁报告现在可作为知识使用，可供助手使用。
比较结果
如果我们比较添加知识库条目之前和之后助手的结果，我们可以看到明显的差异。
在添加知识之前：
补充完知识之后：
我们的 PDF 从一堆无用的重要但难以使用的信息，变成了我们的安全运营团队可以立即访问的信息。知识源的优点在于，Elastic AI Assistant 可以根据提出的问题组合使用它们。请记住，默认情况下，Elastic AI Assistant 还可以将 500 条最新警报作为知识提取，这允许提出强大的问题组合。
下面是一个实际示例 — 我们将使用助手询问威胁报告中突出显示的特定流程或技术，并进行后续检查，看看我们是否受到类似行为的影响：
使用助手询问威胁报告中突出显示的特定流程或技术
这个例子清楚地强调了为助手提供自定义知识源的实用性。正如我们之前强调的那样，还有许多其他场景和示例，其中自定义知识源很有用。
有关如何添加不同类型知识源的更多信息，你可以参考我们的详细文档。
下一步是什么？
我们希望在我们的其他 AI 功能（例如 Elastic Attack Discovery 和 Automatic Import）中添加使用自定义知识的能力。我们还将更轻松地使用现有的搜索连接器（search connectors）在系统之间持续导入和同步知识，例如 GitHub、Confluence、Jira、ServiceNow 和许多其他系统。
准备好用你自己的数据尝试一下了吗？立即开始 14 天免费试用吧！
本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。
在这篇博文中，我们可能使用或引用了第三方生成 AI 工具，这些工具由其各自的所有者拥有和运营。 Elastic 无法控制第三方工具，我们对其内容、操作或使用不承担任何责任，也不对你使用此类工具可能产生的任何损失或损害承担任何责任。在使用 AI 工具处理个人、敏感或机密信息时，请谨慎行事。你提交的任何数据都可能用于 AI 培训或其他目的。我们无法保证你提供的信息会得到安全或保密。在使用任何生成式 AI 工具之前，你应该熟悉其隐私惯例和使用条款。
Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。
原文：Enhance threat response with custom knowledge sources for Elastic AI Assistant | Elastic Blog
