作为技术支持,在支持线上一些预测模型相关serve逻辑时,我们常常会遇到客户有很多问题。但汇总下,我们都可以根据以下几个通用问题的答案,来回答各种各样问题的变形。
- 模型使用了那些feature **
- 模型多久训练一次 **
- 模型使用多久的数据来训练 **
- 模型多久被services加载一次 **
- 线上实验组流量为多少
- 如何动态控制实验
- 当前实验组实验为何
- 如有未经过模型流量,所占百分比为多少
- 如何判定模型或实验组模型表现好坏
常见用户问题:
Q: 请问该模型逻辑通过哪些参数对我们产生影响?
A: 该问题本质就是问使用了哪些feature,判定结果是什么。我们无需详细解释所有feature,只要讲述客户期待的,众所周知的feature就好。
Q: 当客户修改了其某些数据,那么何时能生效?
A: 该问题与模型多久训练一次,假设时间为A,用多久加载一次模型有关,假设B,且与模型多久被服务重新加载一次假设为C,那么最长生效的时间一般为A+B+C。
所以支持相关模型服务逻辑时,最好先搞清楚以上几个通用问题。这样支持起来就会相对顺滑。