Gap: Current browser extensions to counter fake news have significant limitations
Aletheia: RAG-LLMs + a Discussion Hub + a Stay Informed feature
- 从新闻文档中抽取主要事实，并构建检索查询
- Google Search API：搜10条左右证据
- 过滤机制：剔除从预定义网址黑名单获取的证据（1,044 known fake news websites [Papadogiannakis et al., 2023].）
- LLM 分析与证据立场三分类，并赋予每次分类置信度（0-100%）
- 证据足够判别时，系统基于证据充分性预测新闻声明的真实性并提供解释文本
- 若满足搜索条件，则系统启动额外信息重检索。
- 这一重新检索过程将初始数据合并到已建立的证据库中，并生成新的查询，以提高真实性评估的准确性和可靠性，从而确保了证据的持续积累。
数据集
PolitiFact [Shu et al., 2020].
实验结果
总结：
本文介绍了一种名为 Aletheia 的新型浏览器扩展程序，它利用 RAG 和 LLM 算法，能够以基于证据的解释实现精准的虚假新闻检测。其“讨论中心”功能促进了用户互动，“实时信息”功能则提供实时事实核查。实验结果表明，Aletheia 的性能优于其他基线方法。尽管 Aletheia 具有诸多优势，但也面临一些挑战，例如对外部 API 的依赖。未来的工作将通过减少对第三方 API 的依赖以及扩展对多种语言的支持来解决这些局限性。
