教程总体简介:机器学习(常用科学计算库的使用)基础定位、目标 定位 目标 1.1 人工智能概述 学习目标 1 人工智能应用场景 2 人工智能小案例 3 人工智能发展必备三要素: 4 人工智能、机器学习和深度学习 4 小结 机器学习概述 1.4 机器学习工作流程 1 什么是机器学习 Pandas 5.8 高级处理-数据离散化 1 为什么要离散化 2 什么是数据的离散化 3 股票的涨跌幅离散化 3.1 读取股票的数据 3.2 将股票涨跌幅数据进行分组 3.3 股票涨跌幅分组数据变成one-hot编码 5.10 高级处理-交叉表与透视表 1 交叉表与透视表什么作用 2 案例分析 2.1 数据准备 2.2 查看效果 2.3 使用pivot_table(透视表)实现 5.12 案例 1 需求 2 实现 2.1 问题一: 完整机器学习项目的流程(拓展阅读) 独立同分布IID(independent and identically distributed) 1.独立同分布(i.i.d.) 2.简单解释 — 独立、同分布、独立同分布 3.机器学习领域的重要假设 4.目前发展 拓展阅读 1.6 模型评估 2 回归模型评估 3 拟合 1.7 Azure机器学习模型搭建实验 Azure平台简介 1.8 深度学习简介 1 深度学习 —— 神经网络简介 2 深度学习各层负责内容 2.1 库的安装 小结 机器学习基础环境安装与使用 2.2 Jupyter Notebook使用 一级标题 4 Jupyter Notebook中自动补全代码等相关功能拓展【了解】 3.1 Matplotlib之HelloWorld 1 什么是Matplotlib 3 实现一个简单的Matplotlib画图 — 以折线图为例 3.2 图形绘制流程: 3.3 折线图绘制与显示 4 认识Matplotlib图像结构(了解) 3.2 基础绘图功能 — 以折线图为例 1 完善原始折线图 — 给图形添加辅助功能 1.1 准备数据并画出初始折线图 1.2 添加自定义x,y刻度 1.3 中文显示问题解决 1.4 添加网格显示 1.5 添加描述信息 1.6 图像保存 2 在一个坐标系中绘制多个图像 2.1 多次plot 2.2 设置图形风格 2.3 显示图例 2.4 练一练 3 多个坐标系显示— plt.subplots(面向对象的画图方法) 4 折线图的应用场景 3.3 常见图形绘制 1 常见图形种类及意义 2 散点图绘制 4.1 Numpy优势 2 ndarray介绍 3 ndarray与Python原生list运算效率对比 Numpy 4.2 N维数组-ndarray 4.3 基本操作 1 生成数组的方法 1.1 生成0和1的数组 1.2 从现有数组生成 2 数组的索引、切片 3 形状修改 3.1 ndarray.reshape(shape, order) 4 类型修改 4.2 ndarray.tostring([order])或者ndarray.tobytes([order]) 4.3 jupyter输出太大可能导致崩溃问题【了解】 5 数组的去重 5.1 np.unique() 4.5 数组间运算 1 数组与数的运算 4.6 数学:矩阵 1 矩阵和向量 1.1 矩阵 1.2 向量 2 加法和标量乘法 3 矩阵向量乘法 5 矩阵乘法的性质 6 逆、转置 7 矩阵运算 7.1 矩阵乘法api: 5.2 Pandas数据结构 1.Series 2.DataFrame 3.MultiIndex与Panel 3.2 Panel 5.6 文件读取与存储 1 CSV 1.1 read_csv 2 HDF5 2.1 read_hdf与to_hdf 3 JSON 3.2 read_josn 案例 3.3 to_json
完整笔记资料代码:gitee.com/yinuo112/AI…
感兴趣的小伙伴可以自取哦~
全套教程部分目录:
部分文件图片:
机器学习概述
学习目标
- 了解人工智能发展历程
- 了解机器学习定义以及应用场景
- 知道机器学习算法监督学习与无监督学习的区别
- 知道监督学习中的分类、回归特点
- 知道机器学习的开发流程
1.5 机器学习算法分类
学习目标
- 了解机器学习常用算法的分类
根据数据集组成不同,可以把机器学习算法分为:
-
监督学习
-
无监督学习
-
半监督学习
-
强化学习
1 监督学习
-
定义:
-
输入数据是由输入特征值和目标值所组成。
-
函数的输出可以是一个连续的值(称为回归),
-
或是输出是有限个离散值(称作分类)。
-
-
1.1 回归问题
例如:预测房价,根据样本集拟合出一条连续曲线。
1.2 分类问题
例如:根据肿瘤特征判断良性还是恶性,得到的是结果是“良性”或者“恶性”,是离散的。
2 无监督学习
-
定义:
-
输入数据是由输入特征值组成,没有目标值
- 输入数据没有被标记,也没有确定的结果。样本数据类别未知;
- 需要根据样本间的相似性对样本集进行类别划分。
-
举例:
- 有监督,无监督算法对比:
3 半监督学习
-
定义:
- 训练集同时包含有标记样本数据和未标记样本数据。
举例:
- 监督学习训练方式:
- 半监督学习训练方式
4 强化学习
-
定义:
- 实质是make decisions 问题,即自动进行决策,并且可以做连续决策。
举例:
小孩想要走路,但在这之前,他需要先站起来,站起来之后还要保持平衡,接下来还要先迈出一条腿,是左腿还是右腿,迈出一步后还要迈出下一步。
小孩就是 agent,他试图通过采取行动(即行走)来操纵环境(行走的表面),并且从一个状态转变到另一个状态(即他走的每一步),当他完成任务的子任务(即走了几步)时,孩子得到奖励(给巧克力吃),并且当他不能走路时,就不会给巧克力。
主要包含五个元素:agent, action, reward, environment, observation;
强化学习的目标就是获得最多的累计奖励。
监督学习和强化学习的对比
| 监督学习 | 强化学习 | |
|---|---|---|
| 反馈映射 | 输出的是之间的关系,可以告诉算法什么样的输入对应着什么样的输出。 | 输出的是给机器的反馈 reward function,即用来判断这个行为是好是坏。 |
| 反馈时间 | 做了比较坏的选择会立刻反馈给算法。 | 结果反馈有延时,有时候可能需要走了很多步以后才知道以前的某一步的选择是好还是坏。 |
| 输入特征 | 输入是独立同分布的。 | 面对的输入总是在变化,每当算法做出一个行为,它影响下一次决策的输入。 |
拓展概念:什么是独立同分布:

拓展阅读:Alphago进化史 漫画告诉你Zero为什么这么牛:
[
5 小结
| In | Out | 目的 | 案例 | |
|---|---|---|---|---|
| 监督学习**(supervised learning)** | 有标签 | 有反馈 | 预测结果 | 猫狗分类 房价预测 |
| 无监督学习**(unsupervised learning)** | 无标签 | 无反馈 | 发现潜在结构 | “物以类聚,人以群分” |
| 半监督学习**(Semi-Supervised Learning)** | 部分有标签,部分无标签 | 有反馈 | 降低数据标记的难度 | |
| 强化学习**(reinforcement learning)** | 决策流程及激励系统 | 一系列行动 | 长期利益最大化 | 学下棋 |
1.6 模型评估
学习目标
-
目标
- 了解机器学习中模型评估的方法
- 知道过拟合、欠拟合发生情况
模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。
按照数据集的目标值不同,可以把模型评估分为分类模型评估和回归模型评估。