在做 AI 产品时,很多问题在 demo 阶段看不出来。 直到真实用户开始测试。 本周,我们收到了关于 BAINT 教育 AI demo 的详细反馈。 这些反馈暴露了几个关键问题。
1️⃣ 上下文没有被正确重置 用户提问: What is biology? 系统回答正确。 但随后 “teacher explanation” 部分却引用了 photosynthesis。
又例如: What is the history of Africa? 返回结果却出现了 French monarch。 问题本质不是“答案错误”。 而是:上下文残留(context leakage)。 在连续对话 session 中,如果没有对 topic 做强制隔离或重置, 模型可能会继承前一轮主题。 在教育场景里,这是不可接受的。
2️⃣ Teacher 解释触发时机不合理 当前逻辑是: 用户提问 → 系统回答 → 自动生成 teacher explanation。 但真实课堂并不是这样运作的。 更合理的逻辑应该是: 学生回答 → 学生追问或困惑 → Teacher 解释出现。 我们计划改为: • 条件触发 explanation • 仅在学生 engage 后生成 • 或通过显式按钮触发
3️⃣ 教育场景需要结构化输出 普通 AI 聊天可以“对话式输出”。 但教育需要: • Definition • Key points • Example • Optional deeper explanation 我们将输出结构改为固定模板,减少生成随机性。
接下来的优化方向 我们准备在下个 demo 版本中: • 每个问题独立调用(separate calls per question) • 强制 topic reset • 输出结构模板化 • 增加 basic answer validation
一点思考 做教育 AI,比做普通聊天机器人难。 因为: 娱乐可以模糊。 教育不能。 Trust > Creativity. 我们还在 demo 阶段。 但真实反馈,正在帮助我们构建更稳定的基础。 如果你在做教育 AI,欢迎交流。