黑马程序员技术交流社区

标题: 【上海校区】数据处理之去除重复数据 [打印本页]

---

作者: 梦缠绕的时候    时间: 2019-2-20 10:04
标题: 【上海校区】数据处理之去除重复数据
# -*- coding: utf-8 -*-
#1. 概念：把数据结构中，行相同的数据只保留一行。
# 语法： drop_duplicates  该方法返回一个去重后的数据框对象

from pandas import read_csv

df = read_csv("D:/python/workspace/pythonStudy/8.csv")

#找出行重复的位置（索引值）
dIndex = df.duplicated() #返回一列布尔值。如果某行数据没有出现过，则返回False，否则返回True

#找出列重复位置
dIndex = df.duplicated('id') #返回id这一列重复的位置

dIndex = df.duplicated(['id','key']) #这两列同时重复的位置

#根据上面的返回值，把重复数据提取出来                     
df[dIndex]


#删除重复值
#默认根据所有的列，进行删除（当某两行所有列的数据都重复时，会删除其中一行）
newDf = df.drop_duplicates()

#当然也可以指定某一列或多列，进行重复值删除
newDf = df.drop_duplicates("id")
newDf = df.drop_duplicates(["id","key"])

---

作者: 不二晨    时间: 2019-2-21 10:04
奈斯，感谢分享

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2