最近，我借助 AI 完成了一次决策，得到了较为满意的结果。
本文会通过我的实际决策过程，分析当下 AI 会出现的错误，说明如何识别和规避这些风险。
我的决策是基于软件开发项目的，但是这种方法和框架，可以扩展应用到任何方面。
基本原则是：正确的结果不来自于“询问”，而来自于“审计”。
我的决策过程
问题
最近，我负责一个网站项目，需要做技术选型和架构设计。这个项目有其独特性，同时对时间要求比较紧张，因此我需要设计出可靠的、能够快速落地的方案。
第一步，多 AI 协同选型
我尽可能地详细描述了项目的要求、我当下所掌握的资源、可用的时间等等相关信息。
整理之后，我把同样的内容，发送给五个免费的 AI 服务，让它们帮我推荐可用的方案和技术框架。
每个 AI 都给出了三个以上的技术方案，同时给出了它所推荐的最优解。它们的答案大同小异，但是其中有一个 AI，给出了一个其它 AI 都没有提到的框架。
我把这个框架名称给到其它 AI，它们这时却开始赞同起来，说这个方案是最优选择……
第二步，来源确认
我让五个 AI 同时确认此框架的官方文档，确认是否可行，并给出到源资料的链接；并且给出最近半年内，此框架的更新情况。
同时我也让它们去收集整理用户反馈相关内容。
根据它们的结果，我初步确认这个框架是可用的、可靠的；然后我重新从官方网站上查阅资料，确认此框架的可行性，最终决定了技术方案。
第三步，反向咨询确认风险
我再次向五个 AI 同时分几次提出问题：“A 方案的最大的问题是什么？”“如果你反对使用 A 方案，原因是什么？”“我选择 A 方案，如果项目失败了，它最有可能在哪一部分出现了问题？”“项目卡住了，你觉得问题出在哪里？”
五个 AI 都给出了自己的判断，统计下来是有一定方向性的。
最大的风险在于支付模块的功能验证；其次是数据一致性；其它的风险各有一些不同，但都有一定的预警性质。
这些风险并不是阻止我继续工作，也不是要求我更换方案，而是告诉我，在开发过程中，需要着重注意哪些地方。
困难实际上是指路灯。
第四步，边缘情况确认
这一次，我提问的内容是：“当下的技术选型，在什么情况下会出现问题，什么情况下失效？”
五个 AI 服务各自给出了对边界情况的考量；而这极大地丰富了我的测试案例覆盖范围。
结果如何？
根据以上的内容，最终我在 AI 辅助下，整理出了项目的计划，包括技术选型、进度控制、成本预算，在公司内得到了认同。
不过因为项目还没完成，当下还不好说这个计划是完善的，具体还要看实施下来的情况。
但总是一个好的开始。
AI 可能会有的错误
当下，基本上所有的 AI 都会有以下几种错误：
- 事实幻觉。AI 会编造一些根本不存在的内容，比如日期、人名、法规、数据、论文等等，并且作为它推理的基础。这是影响最大，也最容易被忽视的部分，因为 AI 可以描述得头头是道，让人几乎看不出问题。
- 逻辑错位。AI 可以一步一步推导，从起源一直推理到结论，但是在其中的一些步骤，有时就会出现因果关系错位（即推理过程不成立），或者以偏盖全的错误（比如把特例当成了必然结果）。
- 执行隐患。有时 AI 给出的执行步骤中，会忽略掉一些可能会有风险的情况。如果不加识别，按照 AI 给的步骤去一一执行，就非常危险了。
- 价值偏向。毕竟 AI 是公司，它们有自己的立场：利润。所以难免可能会有偏向，就像搜索引擎一样，想完全中立是不可能的。
应对策略
我们不需要因为这些风险而抗拒 AI。
作为普通用户，我们是有办法识别和应对的，只是需要花一点时间。
首先，识别场景，避免对 AI 的盲目信任或者盲目怀疑
两个极端都没有好处。
我们在使用 AI 的时候，要先识别我们处于哪种场景：一些小错误是可以容忍的，还是出现错误就会造成严重后果呢？
这和行业不直接相关。比如在烹饪上，盐加多点少点，一般问题不大；但是对于需要严格控制盐分摄入的病人来说，这就非常重要了。一种食材煮得时间长点短点，多半只是口感不一样；但如果是某些蘑菇，可能就是看得见和看不见小人的问题。
所以我们不能从行业来简单粗暴地区分场景对错误率的要求，而是要根据实际情况调整。
其次，尽量使用多个 AI 服务做交叉对比，规避单一 AI 的风险
有点像智囊团的感觉。
这可以在很大程度上，规避 AI 会出现的所有问题。
这种方案基于一个基本事实：AI 基本上都来自于数据筛选、训练、部署等等过程，但是不同的 AI 隶属于不同的公司，它们的数据来源、生产流程和管理体制都不一样，也由不同的人负责，所以不同 AI 的风险倾向是不同的。
在“价值偏向”上，这种策略会特别有效：即使某个公司通过广告的方式让 AI 推荐自己的内容，它也很难搞定所有的 AI，毕竟成本不低。
从我的实际案例中可以看到，我就是通过这种方式，让免费的 AI 服务，可以提供出很好的方案建议。
即使你使用了昂贵的付费服务，我还是建议你在关键问题上，多尝试一些其它 AI 的回答作为参考，而不是“在一棵树上吊死”。
像我的经验中，一个模型提出了冷门方案，而其他模型会随后跟进，这通常意味着我触及了一个长尾但可能更优的解决方案。
第三，确认来源，避免幻觉
我在第二步中，让 AI 给出明确的来源。
这可以有效避免 AI 的幻觉。
这里要提高警惕的是， AI 给出的答案，看起来都非常可信。
我们应当对关键问题和步骤进行来源确认，无论 AI 说得有多好，甚至都不要关注我们了解多少，因为我们自己也可能会出现偏差。
查找来源针对的不是答案是不是看起来有问题，而是当下这个结论是不是重要和关键。
第四，反向提问，找出漏洞
我们现在都知道，如果给 AI 设置一个身份，它会给出更加专业的答案。
比如咨询职业规划，我们就告诉 AI “你是一名资深职业策划师”；如果是找工作，就让 AI 承担 HR 的角色；如果是文案编写，就让 AI 成为“资深编辑”或者“经验丰富的从业者”。
那么在确认自己的方案是否可行的时候，就让 AI 成为一个反对的角色，来给我们“鸡蛋里挑骨头”。
AI 可以作为政策的反对者、辩论的对手、方案的推翻者……这种角色有时比支持者更重要。
在我的案例中，第三步，就是通过这种方式来识别风险的。
被推荐但是有效性不大的建议
- 付费
现在的 AI，付费和免费的差别非常大，但是这个差别并不体现在所有方面。
主要是科研、编程等逻辑性强、有明确评价规则的领域，AI 的能力进化得非常快。
绝大多数场景下，免费服务已经足够了。
多个 AI 的免费服务，综合起来可能会强于单独的付费模型。
这就是 AI 时代的“三个臭皮匠，胜过诸葛亮”。
而如果付了费用，我们就会倾向于过度信任我们的工具。
这有时反而不利于我们做出准确的判断。
- 用一个傻问题来测试 AI
前段时间有一个很有趣的问题，就是问 AI：我离洗车点只有 10 分钟的路程，我是应该走路过去还是开车过去？
大多数的 AI 都会给出“走路过去”这个回答。
显然，这就是一个天大的笑话。
但因为这一个问题完全否认当下的 AI，显然是不合理的。
同时这种类似脑筋急转弯的问题，其实很容易被修正。
除非我们源源不断地找出这种问题来对 AI 进行测试——但这又有什么意义呢？
还是要提高警惕
通过我的案例和策略说明，我们可以识别 90% 甚至更多的 AI 错误，但是仍然不可避免会有遗漏。
没有策略是万无一失的。
就像自动驾驶，AI 不能保证 100% 不出事故，但是它能保证比大多数人类司机做得好。
借助 AI 决策也是一样的。它不会完全正确，但是会比完全由人来下判断要好得多。
所以“审计”环节必不可少。
我们在享受更优的结果的同时，也要对不好的结果做些心理准备。
就像由我们自己做决策时一样。
