“通过声明-证据相关性提升可解释事实核查” (Improving Explainable Fact-Checking with Claim-Evidence Correlations), 论文提出了一种名为 CorXFact 的新框架,旨在解决当前大语言模型(LLM)在进行事实核查时存在的“黑盒”问题(即无法解释得出结论的具体推理逻辑)。
- 模拟人类决策原则(human decision-making principle):人类原则 = 逐条算证据相关性 → 加权 → 判决 + 解释(即 先评估每条证据与主张的相关性与支持强度,再综合加权所有证据的相关性,最终给出判断与解释)。
1. 核心问题 (The Problem)
虽然基于 LLM 的事实核查系统性能很高,但它们往往无法展示背后的推理原则。人类事实核查员在判断一个声明是否属实时,通常会评估每一条证据与该声明之间的相关性程度(是支持、反驳还是无关),而不仅仅是看证据本身。
2. 提出的方案:CorXFact 框架
CorXFact 模拟了人类的推理过程,采用两阶段策略:
- 第一阶段:相关性推理 (Correlation Reasoning)利用 LLM 识别每一条证据与声明之间的相关性,从两个维度进行:
- 相关性方向:证据是支持 (Support) 还是反驳 (Refute) 声明?
- 相关性程度:支持/反驳的程度是“确定性的”(Definite)、“间接性的”(Indirect) 还是“部分性的”(Partial)?
-
- 第二阶段:基于相关性的核查 (Correlation-based Verification)综合权衡所有证据的相关性结果,最终做出判定(支持、反驳或信息不足),并生成一份透明、具有说服力的解释。
-
3. 主要贡献
- 新框架 CorXFact:提供了一种更可靠、更透明的事实核查方法。
- 新数据集 CorFEVER:为了评估该系统,作者构建了一个包含两个场景的数据集:
- 封闭域 (Closed-domain):使用经过人工标注的维基百科数据。
- 真实世界 (Real-world):从 Google 和 Bing 等搜索引擎获取的、更具复杂性和多样性的非正式证据。
- 实验结果:CorXFact 在声明真实性预测和判定解释生成方面,显著优于现有的四个强力基准模型。
4. 实验结果
5. 总结
这篇论文的关键在于将“相关性分析”引入到事实核查的推理链中,从而使 AI 的判断不再是简单的“对/错”,而是能够清晰地说明“因为证据 A 间接支持了声明,而证据 B 与声明无关,所以结论是...”这样的逻辑过程。