让AI像网络安全专家一样思考
作者：Berend Watchus
独立非营利性AI与网络安全研究员
本文发表于《System Weakness》在线杂志
问题所在
安全运营中心（SOC）正被海量告警淹没。分析师必须逐一调查每起事件，并撰写详细报告，说明发生了什么、为何重要以及下一步该怎么做。这项工作令人精疲力竭，且报告质量因撰写者不同而参差不齐。
什么是安全运营中心（SOC）？
SOC通过协调组织内所有安全能力，提升威胁检测、响应和防御水平。
AI可以帮助撰写这些报告，但有一个问题：AI极难判断自身产出的质量。一份报告可能看起来专业，却可能遗漏资深分析师一眼就能看出的关键细节。
解决方案：MESSALA
松下公司的研究人员开发了 MESSALA 框架，旨在教会AI像专家一样评估安全报告。他们没有让AI猜测什么才算好报告，而是采访了来自8家不同组织的15位资深SOC分析师，问了一个简单的问题：“你如何判断一份报告的好坏？”
通过这些访谈，他们构建了一份 “分析师级检查表”，将专家的直觉归纳为三个类别：
-
决策支持
- 结论是否清晰？（真实威胁还是误报？）
- 后续步骤是否具体且按优先级排序？
- 是否解释了业务影响，而不仅仅是技术细节？
-
技术理解
- 是否解释了事件发生的 原因，而不仅仅是罗列日志？
- 是否利用了上下文（比如受影响系统实际的功能）？
- 分析师是否将该事件与正常行为进行了对比？
-
可追溯性
- 他人能否从证据到结论的逻辑链条进行追溯？
- 假设是否明确陈述？
- 调查范围是否清晰界定？
工作原理
MESSALA并不是简单地把检查表扔给AI。它使用了两种巧妙的技术：
- 细粒度分解：将复杂的评估标准拆解为细小的评价点，让AI不会因信息过载而无法处理。
- 多视角评估：强制AI从不同角度审视报告——比如需要快速概览的管理者视角，与需要取证细节的一线响应者视角。
结果
在测试中，MESSALA显著优于标准的AI评估方法：
- 其评分与人类专家的匹配度高于其他所有方法
- 它提供具体、可操作的反馈，而非泛泛的表扬或批评
- 它捕捉到了其他AI方法完全遗漏的漏洞
为何重要
大多数组织无法承担让资深分析师审阅每一份报告的代价。MESSALA提供了一种在不耗尽顶级人才的前提下维持报告质量的方式。
对初级分析师而言，这就像有位导师在身后指导——直接指出缺失了什么以及为何重要。
对管理者而言，这意味着团队报告质量的一致。
实践要点
如果你在撰写安全报告，以下三个问题将立即提升你的工作质量：
-
他人能否据此做出决策？
清晰陈述你的结论，并按优先级排序后续步骤。 -
你是否解释了“原因”？
不要只罗列发生了什么——解释为何情况异常及其含义。 -
他人能否验证你的工作？
将证据与结论关联起来，让他人能追溯你的推理过程。
研究表明，这些并非锦上添花，而是区分“能推动行动的报告”与“徒增工作的报告”的关键。
来源：Okada, H., Oba, T., & Yanai, N. (2026). “LLMs, You Can Evaluate It! Design of Multi-perspective Report Evaluation for Security Operation Centers.” arXiv:2601.03013 CSD0tFqvECLokhw9aBeRqpNzLTXFlojmzFn6OlyTg9WzQvpaTJHvROfrCP9Nw7ZlgBXzm+vUlGhkQR6J5ddmh/UysM7InjDr8FPW9VXcr4ARh79MLaoKWwWMb3eP07Et113mayqjQ77S47KZsidRfw==
