机器学习学习笔记一|8月更文挑战

195 阅读2分钟

这是我参与8月更文挑战的第13天,活动详情查看:8月更文挑战

第一章: 机器学习入门

​ 主要理解机器学习的应用场景,以及如何以机器学习的方式来处理现实问题。

一、机器学习发展历程

​ 达特摩斯会议 Dartmouth。 2018图灵奖。

二、什么是人工智能

​ 应用场景:传统预测、图像识别、自然语言处理。

​ 人工智能、机器学习、深度学习 。

三、机器学习算法分类

​ 样本由特征值和目标值组成,特征值为样本的特征属性,目标值为样本的目标分类。

​ 按照目标值进行分类:

​ 1、目标值为离散的类别: 分类问题

​ 2、目标值为连续数值:回归问题

​ 3、没有目标值:无监督学习

四、机器学习一般开发流程

​ 方法:

​ 1、获取数据: 确定数据源与处理目标。

​ 2、数据处理: 数据ETL。

​ 3、特征工程: 最能决定机器学习效果的地方。大多数竞赛的效果差别来源。

​ 4、机器学习算法训练: 选择合适的算法及超参数。

​ 5、模型评估:一般将数据集拆分成训练集与测试集来评估模型的效果。对算法和超参数进行调整。理解 过拟合 和 欠拟合

​ 欠拟合:学习力度不够,加大数据量以及增加学习轮数。

​ 过拟合:模型泛化能力不够,在训练集上表现良好,而在测试集上表现不够。

​ 过拟合永远会存在,只是通过校正尽量减少过拟合的影响。

​ 6、模型应用:评估、预测

​ 概念共识: 往往数据和目标就决定了机器学习的效果上限,而技术手段只是让模型更逼近这个上限。

五、学习框架和资料介绍

​ python: sklearn,spark

​ java+scala: spark

​ 基础知识:数学、统计学

​ 经典教程:机器学习-周志华(西瓜书) , 深度学习(花书)

​ 建议的学习路线:

​ 1、快速上手,照本敲代码,搞明白机器学习干嘛的。

​ 2、用常用公共数据集做一些模型训练。

​ 3、尝试解决实际问题: kaggle

​ 4、深入底层,跟踪业界最新技术。

六、可用数据源

​ 往往数据的数量和质量就决定了机器学习的效果。因此数据源相当重要。

​ 1、数据来源:公司内部数据,网络爬虫,数据接口(花钱)

​ 2、学习阶段数据源: iris(鸢尾花) ,boston(波士顿房价)

​ 1>sklearn 自带少量数据源 , spark,示例中自带少量数据源。

​ 2> kaggle 数据建模竞赛

​ 3> UCI archive.ics.uci.edu/ml/datasets…