Python数据分析之数据清洗
数据清晰概念
数据清洗是对一些没有用的数据进行处理的过程。很多数据集存在数据缺失、数据格式错误、错误数据或重复数据的情况，如果要对使数据分析更加准确，就需要对这些没有用的数据进行处理。
使用工具
Pandas库
判空
isnull()：判断单元格是否为空，返回值为bool格式
填充空数据
fillna()：填充空字段
例如：
df = pd.read_csv('property-data.csv')
df[student].fillna(123, inplace = True) # 开启替换，将"student"列的空值改为123
分别使用mean()、median()、mode()计算列的平均数、中位数、众数来替换空字段。
例如：
import pandas as pd
df = pd.read_csv('property-data.csv')
x = df["ST_NUM"].median() # 获取中位数
df["ST_NUM"].fillna(x, inplace = True)
print(df.to_string())
清除空值
dropna()：清除包括空字段的行，返回一个DataFrame，不会修改原数据
参数说明：
- axis：默认为 0，表示逢空值剔除整行，如果设置参数 axis＝1 表示逢空值去掉整列。
- how：默认为 'any' 如果一行（或一列）里任何一个数据有出现 NA 就去掉整行，如果设置 how='all' 一行（或列）都是 NA 才去掉这整行。
- thresh：设置需要多少非空值的数据才可以保留下来的。
- subset：设置想要检查的列。如果是多个列，可以使用列名的 list 作为参数。
- inplace：如果设置 True，将计算得到的值直接覆盖之前的值并返回 None，修改的是源数据
清洗错误格式的数据
to_datetime()：将格式转换为xxxx-xx-xx的格式
例如：
import pandas as pd
# 第三个日期格式错误
data = {
"Date": ['2020/12/01', '2020/12/02' , '20201226'],
"duration": [50, 40, 45]
}
df = pd.DataFrame(data, index = ["day1", "day2", "day3"])
df['Date'] = pd.to_datetime(df['Date'])
print(df.to_string())
结果为：
清洗错误数据
import pandas as pd
person = {
"name": ['Google', 'Runoob' , 'Taobao'],
"age": [50, 40, 12345] # 12345 年龄数据是错误的
}
df = pd.DataFrame(person)
# 将age大于120的改为等于120
for x in df.index:
if df.loc[x, "age"] > 120:
df.loc[x, "age"] = 120
print(df.to_string())
去除重复数据
duplicated()：检查是否有重复值
drop_duplicates()：删除重复数据
import pandas as pd
persons = {
"name": ['Google', 'Runoob', 'Runoob', 'Taobao'],
"age": [50, 40, 40, 23]
}
df = pd.DataFrame(persons)
df.drop_duplicates(inplace = True) # 删除重复数据
print(df)
替代值
replace('old_value', 'new_value')：用新值替代旧值
