12. 模型评估、选择和验证

海盐味橘色汽水
257 阅读1分钟
  1. 损失函数和风险函数
    1. 损失函数


    2. 风险函数
      1. 经验风险
        1. 经验风险是样本呈现的风险，样本数量越大，经验风险越逼近真实风险


        3. 例子


      2. 结构风险
        1. 防止模型过于复杂（防止过拟合）


      3. 例子


    3. 模型评估方法
      1. 训练误差，测试误差及泛化误差
      2. 过拟合


    4. 模型评估
      1. 留出法


      2. 交叉验证法


      3. 留一法


      4. 自助法


    5. 性能度量
      1. 测试准确率和测试错误率
      2. 混淆矩阵


      3. P-R曲线
        1. 定义


        2. 优劣比较


        3. Fβ-Score


        4. 多类混淆矩阵


      4. ROC曲线
        1. 定义


        2. 优劣比较


        3. 曲线上点的意义


      5. 偏差方差分解
        1. 定义


        2. 结论


    6. 验证曲线和学习曲线
      1. 验证曲线


      2. 学习曲线


    7. 参数优化
      1. 暴力搜索优化GridSearchCV


      2. 随机搜索优化


avatar
文章
阅读
粉丝