钉钉 AI 客服：数据分析与优化指南
AI 客服上线后，如何通过数据持续优化效果？
一、关键指标
1.1 效率指标
| 指标 | 计算方式 | 目标值 |
|---|---|---|
| 响应时间 | 首次响应时间 | < 1s |
| 解决率 | 自动解决/总对话 | > 85% |
| 转人工率 | 转人工/总对话 | < 15% |
1.2 质量指标
| 指标 | 计算方式 | 目标值 |
|---|---|---|
| 满意度 | 好评/总评价 | > 90% |
| 准确率 | 正确回答/总回答 | > 95% |
| 完成率 | 完成对话/总对话 | > 80% |
1.3 成本指标
| 指标 | 计算方式 | 目标值 |
|---|---|---|
| API 成本 | tokens 消耗 | < ¥500/月 |
| 单次成本 | API 成本/对话数 | < ¥0.01 |
二、数据采集
2.1 日志采集
// 对话日志
{
"session_id": "xxx",
"user_message": "你好",
"ai_response": "你好，有什么可以帮你？",
"response_time": 0.8,
"resolved": true,
"timestamp": "2026-03-14T10:00:00Z"
}
2.2 用户反馈
// 满意度反馈
{
"session_id": "xxx",
"rating": 5,
"comment": "回答很准确",
"timestamp": "2026-03-14T10:01:00Z"
}
三、分析方法
3.1 漏斗分析
总对话 → 意图识别 → 问题匹配 → 答案生成 → 用户满意
100% 95% 90% 88% 85%
优化点：找到流失最大的环节。
3.2 聚类分析
将相似问题聚类，识别高频问题：
| 聚类 | 问题数 | 占比 |
|---|---|---|
| 价格咨询 | 500 | 25% |
| 订单查询 | 400 | 20% |
| 售后问题 | 300 | 15% |
3.3 时序分析
分析不同时间段的表现：
| 时段 | 对话量 | 响应时间 | 解决率 |
|---|---|---|---|
| 9-12 | 300 | 0.8s | 88% |
| 12-18 | 500 | 0.9s | 86% |
| 18-22 | 200 | 0.7s | 90% |
四、优化策略
4.1 提升响应速度
- 减少上下文长度
- 使用缓存
- 优化提示词
4.2 提升解决率
- 补充知识库
- 优化意图识别
- 改进答案质量
4.3 降低转人工率
- 分析转人工原因
- 补充对应知识
- 优化转人工触发条件
五、A/B 测试
5.1 测试场景
- 不同提示词
- 不同模型
- 不同知识库结构
5.2 测试流程
1. 定义假设
2. 设计测试
3. 分流流量
4. 收集数据
5. 分析结果
6. 应用结论
5.3 示例
假设：更简洁的提示词能提升响应速度
| 版本 | 响应时间 | 解决率 |
|---|---|---|
| A（详细） | 1.2s | 88% |
| B（简洁） | 0.8s | 86% |
结论：简洁版本响应更快，但解决率略降。需权衡。
六、工具推荐
6.1 数据面板
Pro 版内置数据面板：
http://localhost:3000/admin/analytics
6.2 导出分析
# 导出对话记录
curl http://localhost:3000/api/export > data.json
# 分析数据
python3 analyze.py data.json
项目地址：GitHub - dingtalk-connector-pro 有问题欢迎 Issue 或评论区交流
