A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始


pandas.get_dummies
(将类别变量转换为one-hot编码,使用pandas方法实现,相当于sklearn的one-hot编码)

 

离散特征的编码分为两种情况:
1、离散特征的取值之间没有大小的意义,比如color:[red,blue],那么就使用one-hot编码

2、离散特征的取值有大小的意义,比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}

使用pandas可以很方便的对离散型特征进行one-hot编码

官方文档
pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False, dtype=None)[source]

data:可以是数组类型,Series类型,DataFrame类型

prefix:可以字符串,字符串列表,或字符串的字典类型,默认为None。将data的列名映射到prefix的字符串或者字典;

drop_first:布尔型,默认为False,指是否删除第一列

import pandas as pd
import numpy as np

s=pd.Series(list('abca'))
s0=pd.get_dummies(s)
print(s)
print(s0)
'''
0    a
1    b
2    c
3    a
dtype: object
   a  b  c
0  1  0  0
1  0  1  0
2  0  0  1
3  1  0  0
'''

s1=['a','b',np.nan]
print(s1)
print(pd.get_dummies(s1))
print(pd.get_dummies(s1,dummy_na=True))
'''
['a', 'b', nan]
   a  b
0  1  0
1  0  1
2  0  0
   a  b  NaN
0  1  0    0
1  0  1    0
2  0  0    1
'''

df=pd.DataFrame({'A':['a','b','a'],'B':['b','a','c'],'C':[1,2,3]})
print(df)
print(pd.get_dummies(df))
print(pd.get_dummies(df,prefix=['col1','col2']))
'''
   A  B  C
0  a  b  1
1  b  a  2
2  a  c  3
   C  A_a  A_b  B_a  B_b  B_c
0  1    1    0    0    1    0
1  2    0    1    1    0    0
2  3    1    0    0    0    1
   C  col1_a  col1_b  col2_a  col2_b  col2_c
0  1       1       0       0       1       0
1  2       0       1       1       0       0
2  3       1       0       0       0       1
'''

print(pd.get_dummies(pd.Series(list('abcaa'))))
print(pd.get_dummies(pd.Series(list('abcaa')),drop_first=True))
'''
   a  b  c
0  1  0  0
1  0  1  0
2  0  0  1
3  1  0  0
4  1  0  0
   b  c
0  0  0
1  1  0
2  0  1
3  0  0
4  0  0
'''

print(pd.get_dummies(pd.Series(list('abx')),dtype=float))
'''
     a    b    x
0  1.0  0.0  0.0
1  0.0  1.0  0.0
2  0.0  0.0  1.0
'''
例子
import pandas as pd
df=pd.DataFrame([['green','A'],
                 ['red','B'],
                 ['blue','A']])
df.columns=['color','class']
print(df)
print(pd.get_dummies(df))
'''
   color class
0  green     A
1    red     B
2   blue     A
   color_blue  color_green  color_red  class_A  class_B
0           0            1          0        1        0
1           0            0          1        0        1
2           1            0          0        1        0
'''
可以对指定列进行get_dummies
print(pd.get_dummies(df.color))
'''
   blue  green  red
0     0      1    0
1     0      0    1
2     1      0    0
'''
将指定列进行get_dummies后合并到元数据中
print(df.join(pd.get_dummies(df.color)))
'''
   color class  blue  green  red
0  green     A     0      1    0
1    red     B     0      0    1
2   blue     A     1      0    0
'''
pandas.factorize
pandas.factorize(values, sort=False, order=None, na_sentinel=-1, size_hint=None)[source]

将对象编码为枚举类型或类别变量。factorize函数可以将Series中的标称型数据映射称为一组数字,相同的标称型映射为相同的数字。

sort:排序,bool型,默认为False;表示是否对unique进行排序;

na_sentinel:整型,默认为-1,表示找不到该值

返回值:factorize函数的返回值是一个tuple(元组),元组中包含两个元素。第一个元素是一个array,其中的元素是标称型元素映射为的数字;第二个元素是Index类型,其中的元素是所有标称型元素,没有重复。

labels:编码后的值

Uniques:为一个索引

import pandas as pd
print(pd.factorize(['b','b','a','c','b']))
'''
(array([0, 0, 1, 2, 0], dtype=int64), array(['b', 'a', 'c'], dtype=object))
'''
print(pd.factorize(['b','b','a','c','b'],sort=True))
'''
(array([1, 1, 0, 2, 1], dtype=int64), array(['a', 'b', 'c'], dtype=object))
'''
缺少的值在标签中用na_sentinel(默认为-1)表示。注意,缺少的值永远不会包含在uniques中。

print(pd.factorize(['b',None,'a','c','b']))
'''
(array([ 0, -1,  1,  2,  0], dtype=int64), array(['b', 'a', 'c'], dtype=object))
'''
get_dummies()与factorize()的区别
factorize()对每一个类别映射一个ID,这种映射最后只生成一个特征,

dummy()映射后生成多个特征。

1 个回复

倒序浏览
奈斯,加油
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马