机器学习的类型

55 阅读6分钟

机器学习按照输出空间划分的话,包括二元分类、多元分类、回归、结构化学习等不同的类型。其中二元分类和回归是最基础、最核心的两个类型。

注:学习自林轩田机器学习基石国语国语

1.1.1 问题类型划分(输出空间)

如果设定问题场景为考试环境下,二元分类问题就类似与判断题,而多类别(后称多元问题)分类问题就像是选择题,需要在多个选项中做出正确的答案。

在癌症病症的诊断中,可以进行预测癌症的类型或者没有癌症,在邮件的拦截中,不仅仅针对垃圾邮件的识别,还能针对邮件的类型进行划分,如社交领域、学术领域等等,而在统计学中,如果输出数为一个实数或者说一定范围内的实数的话,它就属于一种回归分析的类型。

如果说,想要去对于自然语言,即语言文本进行处理的话,当然,如果只是单词,就简单了,但现实是,基本是在在一个完整的语境下(句子)进行判断,而每个词的词性就存在多样的变化,这时候,我们该如何去识别呢?其实,这很复杂,但都离不开一个算法,结构化学习方法(自然语言下就是语法结构的学习)。

总的来说,机器学习按照输出空间划分的话,包括二元分类、多元分类、回归、结构化学习等不同的类型。其中二元分类和回归是最基础、最核心的两个类型。

1.1.2 数据标签划分

如果我们采用的训练数据是一个原始数据以及它的正确分析(在这里,就是分类)结果的话,就是一种监督式的机器学习方法。如果只是原始数据的话,那就是一种无监督式学习,但机器学习只能划分出类别数据以及影响划分类别的重要因素,而不知道类别具体的含义,并且,无监督式学习对比监督式学习,前者可能存在划分类别数目上的困难,甚至是错误。监督式学习更符合严格分类的要求,而无监督式学习更像去发现数据的特征进行分群,典型的非监督式学习包括:聚类(clustering)问题,比如对网页上新闻的自动分类;密度估计,比如交通路况分析;异常检测,比如用户网络流量监测。通常情况下,非监督式学习更复杂一些。

介于监督式和非监督式学习之间的叫做半监督式学习(Semisupervised Learning)。顾名思义,半监督式学习就是说一部分数据有输出标签yn,而另一部分数据没有输出标签yn。在实际应用中,半监督式学习有时候是必须的,比如医药公司对某些药物进行检测,考虑到成本和实验人群限制等问题,只有一部分数据有输出标签yn。

监督式、非监督式、半监督式学习是机器学习领域三个主要类型。除此之外,还有一种非常重要的类型:增强学习。增强学习中,我们给模型或系统一些输入,但是给不了我们希望的真实的输出y,根据模型的输出反馈,如果反馈结果良好,更接近真实输出,就给其正向激励,如果反馈结果不好,偏离真实输出,就给其反向激励。不断通过“反馈修正”这种形式,一步一步让模型学习的更好,这就是增强学习的核心所在。

增强学习可以类比成训练宠物的过程,比如我们要训练狗狗坐下,但是狗狗无法直接听懂我们的指令“sit down”。在训练过程中,我们给狗狗示意,如果它表现得好,我们就给他奖励,如果它做跟sit down完全无关的动作,我们就给它小小的惩罚。这样不断修正狗狗的动作,最终能让它按照我们的指令来行动。

实际生活中,增强学习的例子也很多,比如根据用户点击、选择而不断改进的广告系统。

简单总结一下,机器学习按照数据输出标签yn划分的话,包括监督式学习、非监督式学习、半监督式学习和增强学习等。其中,监督式学习应用最为广泛。

1.1.3 协议划分

按照不同的协议,机器学习可以分为三种类型:

  • Batch Learning

  • Online

  • Active Learning

batch learning 是一种常见的类型。batch learning获得的训练数据D是一批的,即一次性拿到整个D,对其进行学习建模,得到我们最终的机器学习模型。batch learning在实际应用中最为广泛。 online 是一种在线学习模型,数据是实时更新的,根据数据一个个进来,同步更新我们的算法。比如在线邮件过滤系统,根据一封一封邮件的内容,根据当前算法判断是否为垃圾邮件,再根据用户反馈,及时更新当前算法。这是一个动态的过程。之前我们介绍的PLA和增强学习都可以使用online模型。 active learning 是近些年来新出现的一种机器学习类型,即让机器具备主动问问题的能力,例如手写数字识别,机器自己生成一个数字或者对它不确定的手写字主动提问。 active learning 优势之一是在获取样本label比较困难的时候,可以节约时间和成本,只对一些重要的label提出需求。 简单总结一下,按照不同的协议,机器学习可以分为batch, online, active。这三种学习类型分别可以类比为:填鸭式,老师教学以及主动问问题。

1.1.4 输入数据划分

根据输入X类型不同,可以分为 concetet, raw,abstract。即具体特征、简单特征转换、抽象特征转换。

输入X的第一种类型就是 concrete features。比如说硬币分类问题中硬币的尺寸、重量等;比如疾病诊断中的病人信息等具体特征。concrete features 对机器学习来说最容易理解和使用。

第二种类型是raw features。比如说手写数字识别中每个数字所在图片的mxn维像素值;比如语音信号的频谱等。raw features一般比较抽象,经常需要人或者机器来转换为其对应的 concrete features,这个转换的过程就是 Feature Transform。

第三种类型是abstract features。比如某购物网站做购买预测时,提供给参赛者的是抽象加密过的资料编号或者 ID,这些特征 X 完全是抽象的,没有实际的物理含义。所以,对于机器学习来说是比较困难的,需要对特征进行更多的转换和提取。

求点赞转发

开启掘金成长之旅!这是我参与「掘金日新计划 · 2 月更文挑战」的第 三 天,点击查看活动详情