pandas.get_dummies
（将类别变量转换为one-hot编码，使用pandas方法实现，相当于sklearn的one-hot编码）
离散特征的编码分为两种情况：
1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码
2、离散特征的取值有大小的意义，比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}
使用pandas可以很方便的对离散型特征进行one-hot编码
官方文档
pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False, dtype=None)[source]
data：可以是数组类型，Series类型，DataFrame类型
prefix：可以字符串，字符串列表，或字符串的字典类型，默认为None。将data的列名映射到prefix的字符串或者字典；
drop_first:布尔型，默认为False，指是否删除第一列
import pandas as pd
import numpy as np
s=pd.Series(list('abca'))
s0=pd.get_dummies(s)
print(s)
print(s0)
'''
0 a
1 b
2 c
3 a
dtype: object
a b c
0 1 0 0
1 0 1 0
2 0 0 1
3 1 0 0
'''
s1=['a','b',np.nan]
print(s1)
print(pd.get_dummies(s1))
print(pd.get_dummies(s1,dummy_na=True))
'''
['a', 'b', nan]
a b
0 1 0
1 0 1
2 0 0
a b NaN
0 1 0 0
1 0 1 0
2 0 0 1
'''
df=pd.DataFrame({'A':['a','b','a'],'B':['b','a','c'],'C':[1,2,3]})
print(df)
print(pd.get_dummies(df))
print(pd.get_dummies(df,prefix=['col1','col2']))
'''
A B C
0 a b 1
1 b a 2
2 a c 3
C A_a A_b B_a B_b B_c
0 1 1 0 0 1 0
1 2 0 1 1 0 0
2 3 1 0 0 0 1
C col1_a col1_b col2_a col2_b col2_c
0 1 1 0 0 1 0
1 2 0 1 1 0 0
2 3 1 0 0 0 1
'''
print(pd.get_dummies(pd.Series(list('abcaa'))))
print(pd.get_dummies(pd.Series(list('abcaa')),drop_first=True))
'''
a b c
0 1 0 0
1 0 1 0
2 0 0 1
3 1 0 0
4 1 0 0
b c
0 0 0
1 1 0
2 0 1
3 0 0
4 0 0
'''
print(pd.get_dummies(pd.Series(list('abx')),dtype=float))
'''
a b x
0 1.0 0.0 0.0
1 0.0 1.0 0.0
2 0.0 0.0 1.0
'''
例子
import pandas as pd
df=pd.DataFrame([['green','A'],
['red','B'],
['blue','A']])
df.columns=['color','class']
print(df)
print(pd.get_dummies(df))
'''
color class
0 green A
1 red B
2 blue A
color_blue color_green color_red class_A class_B
0 0 1 0 1 0
1 0 0 1 0 1
2 1 0 0 1 0
'''
可以对指定列进行get_dummies
print(pd.get_dummies(df.color))
'''
blue green red
0 0 1 0
1 0 0 1
2 1 0 0
'''
将指定列进行get_dummies后合并到元数据中
print(df.join(pd.get_dummies(df.color)))
'''
color class blue green red
0 green A 0 1 0
1 red B 0 0 1
2 blue A 1 0 0
'''
pandas.factorize
pandas.factorize(values, sort=False, order=None, na_sentinel=-1, size_hint=None)[source]
将对象编码为枚举类型或类别变量。factorize函数可以将Series中的标称型数据映射称为一组数字，相同的标称型映射为相同的数字。
sort：排序，bool型，默认为False；表示是否对unique进行排序；
na_sentinel:整型，默认为-1，表示找不到该值
返回值：factorize函数的返回值是一个tuple（元组），元组中包含两个元素。第一个元素是一个array，其中的元素是标称型元素映射为的数字；第二个元素是Index类型，其中的元素是所有标称型元素，没有重复。
labels：编码后的值
Uniques：为一个索引
import pandas as pd
print(pd.factorize(['b','b','a','c','b']))
'''
(array([0, 0, 1, 2, 0], dtype=int64), array(['b', 'a', 'c'], dtype=object))
'''
print(pd.factorize(['b','b','a','c','b'],sort=True))
'''
(array([1, 1, 0, 2, 1], dtype=int64), array(['a', 'b', 'c'], dtype=object))
'''
缺少的值在标签中用na_sentinel(默认为-1)表示。注意，缺少的值永远不会包含在uniques中。
print(pd.factorize(['b',None,'a','c','b']))
'''
(array([ 0, -1, 1, 2, 0], dtype=int64), array(['b', 'a', 'c'], dtype=object))
'''
get_dummies()与factorize()的区别
factorize()对每一个类别映射一个ID，这种映射最后只生成一个特征，
dummy()映射后生成多个特征。 |
|
