黑马程序员技术交流社区

标题: 【上海校区】pd.get_dummies()与pd.factorize()详解 [打印本页]

---

作者: 梦缠绕的时候    时间: 2019-1-9 09:24
标题: 【上海校区】pd.get_dummies()与pd.factorize()详解

pandas.get_dummies
（将类别变量转换为one-hot编码，使用pandas方法实现，相当于sklearn的one-hot编码）

 

离散特征的编码分为两种情况：
1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码

2、离散特征的取值有大小的意义，比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}

使用pandas可以很方便的对离散型特征进行one-hot编码

官方文档
pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False, dtype=None)[source]

data：可以是数组类型，Series类型，DataFrame类型

prefix：可以字符串，字符串列表，或字符串的字典类型，默认为None。将data的列名映射到prefix的字符串或者字典；

drop_first:布尔型，默认为False，指是否删除第一列

import pandas as pd
import numpy as np

s=pd.Series(list('abca'))
s0=pd.get_dummies(s)
print(s)
print(s0)
'''
0    a
1    b
2    c
3    a
dtype: object
   a  b  c
0  1  0  0
1  0  1  0
2  0  0  1
3  1  0  0
'''

s1=['a','b',np.nan]
print(s1)
print(pd.get_dummies(s1))
print(pd.get_dummies(s1,dummy_na=True))
'''
['a', 'b', nan]
   a  b
0  1  0
1  0  1
2  0  0
   a  b  NaN
0  1  0    0
1  0  1    0
2  0  0    1
'''

df=pd.DataFrame({'A':['a','b','a'],'B':['b','a','c'],'C':[1,2,3]})
print(df)
print(pd.get_dummies(df))
print(pd.get_dummies(df,prefix=['col1','col2']))
'''
   A  B  C
0  a  b  1
1  b  a  2
2  a  c  3
   C  A_a  A_b  B_a  B_b  B_c
0  1    1    0    0    1    0
1  2    0    1    1    0    0
2  3    1    0    0    0    1
   C  col1_a  col1_b  col2_a  col2_b  col2_c
0  1       1       0       0       1       0
1  2       0       1       1       0       0
2  3       1       0       0       0       1
'''

print(pd.get_dummies(pd.Series(list('abcaa'))))
print(pd.get_dummies(pd.Series(list('abcaa')),drop_first=True))
'''
   a  b  c
0  1  0  0
1  0  1  0
2  0  0  1
3  1  0  0
4  1  0  0
   b  c
0  0  0
1  1  0
2  0  1
3  0  0
4  0  0
'''

print(pd.get_dummies(pd.Series(list('abx')),dtype=float))
'''
     a    b    x
0  1.0  0.0  0.0
1  0.0  1.0  0.0
2  0.0  0.0  1.0
'''
例子
import pandas as pd
df=pd.DataFrame([['green','A'],
                 ['red','B'],
                 ['blue','A']])
df.columns=['color','class']
print(df)
print(pd.get_dummies(df))
'''
   color class
0  green     A
1    red     B
2   blue     A
   color_blue  color_green  color_red  class_A  class_B
0           0            1          0        1        0
1           0            0          1        0        1
2           1            0          0        1        0
'''
可以对指定列进行get_dummies
print(pd.get_dummies(df.color))
'''
   blue  green  red
0     0      1    0
1     0      0    1
2     1      0    0
'''
将指定列进行get_dummies后合并到元数据中
print(df.join(pd.get_dummies(df.color)))
'''
   color class  blue  green  red
0  green     A     0      1    0
1    red     B     0      0    1
2   blue     A     1      0    0
'''
pandas.factorize
pandas.factorize(values, sort=False, order=None, na_sentinel=-1, size_hint=None)[source]

将对象编码为枚举类型或类别变量。factorize函数可以将Series中的标称型数据映射称为一组数字，相同的标称型映射为相同的数字。

sort：排序，bool型，默认为False；表示是否对unique进行排序；

na_sentinel:整型，默认为-1，表示找不到该值

返回值：factorize函数的返回值是一个tuple（元组），元组中包含两个元素。第一个元素是一个array，其中的元素是标称型元素映射为的数字；第二个元素是Index类型，其中的元素是所有标称型元素，没有重复。

labels：编码后的值

Uniques：为一个索引

import pandas as pd
print(pd.factorize(['b','b','a','c','b']))
'''
(array([0, 0, 1, 2, 0], dtype=int64), array(['b', 'a', 'c'], dtype=object))
'''
print(pd.factorize(['b','b','a','c','b'],sort=True))
'''
(array([1, 1, 0, 2, 1], dtype=int64), array(['a', 'b', 'c'], dtype=object))
'''
缺少的值在标签中用na_sentinel(默认为-1)表示。注意，缺少的值永远不会包含在uniques中。

print(pd.factorize(['b',None,'a','c','b']))
'''
(array([ 0, -1,  1,  2,  0], dtype=int64), array(['b', 'a', 'c'], dtype=object))
'''
get_dummies()与factorize()的区别
factorize()对每一个类别映射一个ID，这种映射最后只生成一个特征，

dummy()映射后生成多个特征。

---

作者: 不二晨    时间: 2019-1-10 10:36
奈斯，加油

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2