机器学习

算法简介 优缺点 熵的概念及运算 决策树算法对比 1、三种算法的区别仅仅只是对于当前树的评价标准不同而已，ID3使用信息增益、C4.5使用信息增益率、CART使用基尼系数。（不是主要区别） 2、CAR

############################################################

Softmax使用####################################################

拓展概念 在线学习和离线学习 概念 - 核心区别 - 举例######################

定义 正则化是一种在模型训练中在损失函数中额外加入惩罚项的方法，用来限制模型的复杂度，防止过拟合 通俗理解 普通回归只关心“拟合误差小不小” 加了正则化后，模型还要“保持系数尽量小/稀疏” 目的:让模

简介： 原理 应用场景#################################################

线性回归、最小二乘法、梯度下降三者关系： 正则化：L1-norm、L2-norm 优化线性回归: 通过修改损失函数，在模型训练中引入对参数大小的惩罚，从而解决过拟合问题，提高线性回归预测准确度。 对应

信息熵 信息量：指的是一个样本/事件所蕴含的信息，如果一个事件的概率越大， 那么就可以认为该事件所蕴含的信息越少。极端情况下，比如：“太阳从东 方升起”，因为是确定事件，所以不携带任何信息量。 信息熵

梯度下降法 ● 梯度下降法(Gradient Descent，GD) 常用于求解无约束情况下凸函数(Convex Function)的极小值，是一种迭代类型的算法，因为凸函数只有一个极值点，故求解出来

最小二乘法 原理： 问题： 最小残差平方和公式： 举例：###################################################################

概念 回归算法是一种有监督算法 回归算法中算法(函数)的最终结果是一个连续的数据值，输入值(属性值)是一个d维度的属性/数值向量。 线性回归 概念 形式： y=ax+b 最小二乘 概念：是一种求解参数

原理 k近邻一种基本的机器学习算法 是k个最近的邻居的意思 比如：判断一个人的人品，只需要观察与他来往最密切 的几个人的人品好坏就可以得出，即“近朱者赤，近墨者黑” KNN在分类预测时，一般采用多数表

数据收集与存储 数据来源： 用户访问行为数据 业务数据 外部第三方数据 数据存储： 需要存储的数据：原始数据、预处理后数据、模型结果 存储设施：磁盘、mysql、HDFS、HBase、Solr、Ela

分类的评价指标： 准确率 精确率 ROC（越大越好） AUC（越大越好） 回归的评价指标： NAE（小）、 MSE 当NAE小，MSF大时，考虑是否存在噪声因素 3. R方 F1 指标

定义： 机器学习是一门从数据中研究算法的科学学科。 机器学习直白来讲，是根据已有的数据，进行算法选择，并基于算法和数据 构建模型，最终对未来进行预测。 备注：机器学习就是一个模拟人决策过程的一种程序结