首发 | OpenTaiji WFGY 防幻觉系统:让 AI Agent 不再"胡说八道"

0 阅读3分钟

首发 | OpenTaiji WFGY 防幻觉系统:让 AI Agent 不再"胡说八道"

OpenTaiji 团队开源了国内首个多智能体框架的防幻觉验证系统,用太极哲学为 AI 装上"定海神针"


一、为什么需要防幻觉?

当你在生产环境使用 AI Agent 时,最怕的不是它不会,而是它一本正经地胡说八道

  • 📊 给你一份数据报告,结果数字是编的
  • 📝 引用的法条根本不存在
  • 🔧 调用的 API 参数全是错的

幻觉(Hallucination)——是大模型应用落地的头号杀手。


二、WFGY 是什么?

WFGY(Why Would I Fxxxing Lie to You)——是 OpenTaiji 框架新增的符号层防幻觉验证系统

它的核心思想:不让 AI 凭空编造,所有输出必须可溯源。

输入 → LLM生成 → WFGY验证 → 可信输出
              ↓
         符号规则检查
         知识库比对
         自一致性校验
         幻觉检测

三、核心技术实现

1. 符号规则验证(WFGYVerifier)

import { WFGYVerifier } from '@open-taiji/determinism';

const verifier = new WFGYVerifier({
  rules: [
    {
      id: 'no-fake-numbers',
      name: '禁止伪造数据',
      pattern: /\d{4}-\d{2}-\d{2}/,  // 检测日期格式
      expected: false,
      violationMessage: '禁止凭空编造日期'
    }
  ],
  knowledgeBase: [
    {
      symbol: '《生态环境法典》',
      meaning: '中国生态环境领域的基础性法律',
      allowedContexts: ['法律咨询', '法条检索'],
      forbiddenContexts: ['天气预报'],
      source: { type: 'official', url: 'https://www.mee.gov.cn' }
    }
  ]
});

// 验证输出
const result = await verifier.verify('根据《生态环境法典》第三条规定...');
console.log(result.isValid);  // false - 知识库中没有这个法典

2. 自一致性检查(SelfConsistencyChecker)

同一问题的多次回答必须逻辑自洽:

import { SelfConsistencyChecker } from '@open-taiji/determinism';

const checker = new SelfConsistencyChecker({
  tolerance: 0.15,  // 允许15%的偏差
  maxRetries: 3
});

// 连续问3次,检测一致性
const results = await Promise.all([
  agent.ask('今天北京天气如何?'),
  agent.ask('今天北京天气如何?'),
  agent.ask('今天北京天气如何?')
]);

const consistent = await checker.check(results);
console.log(consistent.isConsistent);  // false = 有幻觉

3. 知识溯源(SourceTracer)

每个回答必须标明来源:

import { SourceTracer } from '@open-taiji/determinism';

const tracer = new SourceTracer({
  indexPath: './knowledge-index',
  maxDepth: 3
});

// 溯源查询
const trace = await tracer.trace('法典第三条规定...');
console.log(trace.sources);  // [{url: '...', confidence: 0.95}]
console.log(trace.untraceable);  // ['法典第三条'] - 无法溯源

4. 幻觉检测器(HallucinationDetector)

综合判定输出是否可信:

import { HallucinationDetector } from '@open-taiji/determinism';

const detector = new HallucinationDetector({
  enableSymbolCheck: true,
  enableConsistencyCheck: true,
  enableSourceTrace: true,
  threshold: 0.8  // 80分以上才可信
});

const report = await detector.analyze(agentResponse);

if (report.score < 0.8) {
  console.warn('⚠️ 检测到幻觉:', report.hallucinations);
  // 触发重试或人工确认
}

四、测试覆盖率

WFGY 系统自带 87 个测试用例,覆盖:

测试类型用例数
功能测试36
边界条件15
性能测试11
错误处理15
集成测试10
 WFGYVerifier: 36 passed
 SelfConsistencyChecker: 15 passed
 SourceTracer: 11 passed
 HallucinationDetector: 15 passed
 DeterminismSystem: 10 passed

五、如何使用?

安装

npm install open-taiji

集成到 Agent

import { TaijiAgent, DeterminismSystem } from 'open-taiji';

const agent = new TaijiAgent({
  name: 'legal-assistant',
  // 启用防幻觉
  determinism: {
    enableWFGY: true,
    enableConsistency: true,
    enableTrace: true,
    threshold: 0.85
  }
});

// 直接使用,返回结果带置信度
const response = await agent.ask('根据《生态环境法典》...');
console.log(response.confidence);  // 0.92
console.log(response.sources);     // [{url: '...'}]

六、太极哲学

为什么叫 WFGY

"Why Would I Fxxxing Lie to You" —— 我凭什么骗你?

这背后是太极哲学的阴阳平衡

  • :LLM 的无限生成能力
  • :WFGY 的约束验证机制

没有阳的阴是死胡同,没有阴的阳是脱缰野马。唯有太极平衡,才能让 AI Agent 真正落地生产。


七、结语

WFGY 防幻觉系统已在 GitHub 开源:

  • 仓库: github.com/xiejianjun000/open-taiji
  • Commit: 7875156 🎯
  • 测试: 87用例全部通过

这是 OpenTaiji 的第一个完美级里程碑,也是中国开源多智能体框架的重要一步。

让 AI ,不再胡说八道。


☯️ OpenTaiji - Dynamic Balance for AI Agents