微阵列质量控制(MAQC)-II研究基于微阵列的预测模型开发和验证的常见实践总结
The MicroArray Quality Control (MAQC)-II study of common practices for the development and validation of microarray-based predictive models(doi: 10.1038/nbt.1665)
构建基于基因表达数据的分类器的建议
- 设计
设计阶段并没有一套需要严格执行的步骤，以检查表的形式供实践者遵循，一般包含标准化，特征选择以及分类。在研究设计阶段应该遵循标准良好的实践。
- 初步研究或内部验证
可以通过辅助程序或者交叉验证来实现，多采用10次5折交叉验证。
- 关键研究或外部验证
通过一个独立于训练集的验证集进行预测模型的验证。
避免将验证集转换为训练集的一部分
MAQC-II观察结果的总结
- 模型的预测性能很大程度上依赖要预测的终点
- 良好实现的、无偏差的交叉验证的内部验证性能与外部验证性能表现出高度的一致性
- 可以从一个数据集中开发出多个具有相似性能的预测模型
- 在建模的同一步骤中，应用实践良好的模型似乎比选择特定的算法更重要
预测模型的性能指标
- MCC(Matthews Correlation Coefficient)
- accuracy
- sensitivity
- specificity
- AUC (area under the receiver operating characteristic curve)
- binary AUC (that is, mean of sensitivity and specificity)
- r.m.s.e(root mean squared error)
其他
- 通过估计经验最佳线性无偏预测因子(BLUPs),进一步研究各个建模因子中个体水平的影响
- 为了验证预测模型的可再现性，将原始实验的性能与交换实验后的性能进行关联，判断预测模型的可在线性。
交换(swap)实验是指通过在原始的验证集上训练模型，并使用原始的训练集对模型进行验证，从而重复模型构建和验证过程
