「这是我参与11月更文挑战的第15天，活动详情查看：2021最后一次更文挑战」

收集数据集后，我们需要对数据集进行读取，和预处理等操作。如何进行预处理，我们需要预处理的作用是什么，以下来介绍。

数据集读取

举一个例子，我们首先创建一个人工数据集，并存储在csv（逗号分隔值）文件data.csv中。以其他格式存储的数据也可以通过类似的方式进行处理。下面的mkdir_if_not_exist函数可确保目录../data存在。注意，注释#@save是一个特殊的标记，该标记下方的函数、类或语句将保存在d2l软件包中，以便以后可以直接调用它们（例如d2l.mkdir_if_not_exist(path)）而无须重新定义。

下面我们将数据集按行写入CSV文件中。

import os

os.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n')  # 列名
    f.write('NA,Pave,127500\n')  # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

要从创建的CSV文件中加载原始数据集，我们导入pandas包并调用read_csv函数。该数据集有四行三列。其中每行描述了房间数量（“NumRooms”）、巷子类型（“Alley”）和房屋价格（“Price”）。

import pandas as pd

data = pd.read_csv(data_file)
print(data)

读取的数据集如下

处理缺失值

注意，“NaN”项代表缺失值。为了处理缺失的数据，典型的方法包括插值和删除，其中插值用替代值代替缺失值。而删除则忽略缺失值。在这里，我们将考虑插值。

通过位置索引iloc，我们将data分成inputs和outputs，其中前者为data的前两列，而后者为data的最后一列。对于inputs中缺少的数值，我们用同一列的均值替换“NaN”项。

数据集划分

我们需要将读取的数据集划分。

数据归一化处理

归一化有以下好处：

需要做归一化处理的类型：线性模型，如基于距离度量的模型包括KNN(K近邻)、K-means聚类、 感知机和SVM、神经网络。另外，线性回归类的几个模型一般情况下也 是需要做数据归一化/标准化处理的。

不需要做的：决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取 值大小并不敏感，如随机森林、XGBoost、LightGBM等树模型，以及 朴素贝叶斯，以上这些模型一般不需要做数据归一化/标准化处理。