机器学习定义
为了解决任务T,设计一段程序,从经验E中学习,达到性能度量值P,当且仅当有了经验E后,经过P评判,程序在处理T时,性能可以得到提升.
机器学习分类
1.有监督学习 (Supervised learning)
-
分类
分类分为:
1.生成模型(概率模型)--> 一般采用联合概率分布
2.判别模型(非概率模型)--> 一般采用条件概率
-
回归
2.无监督学习 (Unsupervised learning)
特征: 样本中不包含任何标签
-
聚类
-
降维
3.强化学习
-
有模型学习
-
免模型学习
监督学习
定义:
利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习.
监督学习是从标记的训练数据来推断一个功能的机器学习任务。训练数据包括一套训练示例。在监督学习中，每个实例都是由一个输入对象（通常为矢量）和一个期望的输出值（也称为监督信号）组成。监督学习算法是分析该训练数据，并产生一个推断的功能，其可以用于映射出新的实例。一个最佳的方案将允许该算法来正确地决定那些看不见的实例的类标签。这就要求学习算法是在一种“合理”的方式从一种从训练数据到看不见的情况下形成。
简单来说就是训练样本包含对应的标签,比如Titanic数据集中生存与否就是标签.
- 分类问题: 样本标签属于离散变量,比如判别垃圾邮件,肿瘤检测.
- 回归问题: 样本标签属于连续变量,比如预测房价,预测销售额.
特征:
每个样本包含多个线索,成为特征(filed)或者纬度,比如肿瘤预测问题,可以通过肿瘤的大小,患者年龄,肿块密度,肿瘤细胞尺寸等线索来判断.
连续变量和离散变量
- 连续变量: 简单来说可以任意取值的变量,相邻的两个值可以无线分割(生产零件的尺寸)
- 离散变量: 也可以称为类别型变量,性别,教育程度,学校职称等(可以通过转换把变量转换成自然数 比如男 = 0, 女 = 1)
生成模型(概率模型)--> 联合概率分布
1.联合概率
联合概率指的是包含多个条件且所有条件同时成立的概率，记作P(X=a,Y=b)或P(a,b)，有的书上也习惯记作P(ab)，但是这种记法个人不太习惯，所以下文采用以逗号分隔的记法。
一定要注意是所有条件同时成立！
2.边缘概率
边缘概率是与联合概率对应的，P(X=a)或P(Y=b)，这类仅与单个随机变量有关的概率称为边缘概率
3.联合概率与边缘概率的关系
判别模型(非概率模型)--> 条件概率
1.条件概率
条件概率表示在条件Y=b成立的情况下，X=a的概率，记作P(X=a|Y=b)或P(a|b)，它具有如下性质： “在条件Y=b下X的条件分布”也是一种“X的概率分布”，因此穷举X的可取值之后，所有这些值对应的概率之和为1即：
条件概率,事件A在事件B发生的条件下发生的概率. 条件概率表示为P(A|B),读作A给定B. 式子1
转换 得出:贝叶斯(BaYes)公式
无监督学习
-
聚类:
用户分群,朋友分组,社交软件,细分市场,异常流量监测
-
降维:
纬度(也就是线索)越多,越能帮助我们判断,但是线索太多可能干扰判断,造成判断的速度和准确度降低
