首页 文章详情

30 个 Pandas技巧,加速你的数据分析处理速度!

俊红的数据分析之路 | 231 2021-11-30 17:31 0 0 0
UniSMS (合一短信)


今天给大家分享的是我日常在做数据处理中总结的一些熊猫技巧


pandas的下载



使用命令下载:

pip install pandas 



或者自行下载whl文件安装
https://www.lfd.uci.edu/~gohlke/pythonlibs/



创建DataFrame数据


pd_data = pd.DataFrame({
    "name":["小明","小红","小孙","王小","关宇","刘蓓","张菲"],
    "age":[20,18,27,20,28,18,25],
    "sex":["男","女","男","男","男","女","女"],
    "score":[669,570,642,590,601,619,701],
    "address":["北京","深圳","广州","武汉","深圳","广州","长沙"]
})

print(pd_data)



读取本地文件


pd_data = pd.read_excel('./测试.xlsx')

pd.set_option('display.max_columns'None)   # 显示完整的列
pd.set_option('display.max_rows'None)  # 显示完整的行
pd.set_option('display.expand_frame_repr'False)  # 设置不折叠数据

print(pd_data)



查看数据是否有缺失



# 如果缺失显示为True,否则显示False
isnull = pd_data.isnull()        
print(isnull)



统计缺失值个数


# 统计缺失值个数
null_count = pd_data.isnull().sum()
print(null_count)



缺失值填充


# 填充数据 我选择了8.888,你随意
pd_data.fillna(8.888, inplace=True)
print(pd_data)



缺失值删除



# 如果有缺失值,删除此行
exist_col = pd_data.dropna()
print(exist_col)





查看头尾文件



# 查看头尾文件
print('头文件:', pd_data.head())
print('尾文件:', pd_data.tail())





取单列值


# 单列值
pd_data = pd.read_excel('./测试.xlsx')
print(pd_data['全款价'])



取多列值


# 多列值
pd_data = pd.read_excel('./测试.xlsx')
print(pd_data[['车辆概况''全款价']])



单条件取值


pd_data = pd.read_excel('./测试.xlsx')
print(pd_data[pd_data['全款价'] == 4])
print('-'*100)
print(pd_data[pd_data['汽车排量'] == '2.0T'])



多条件取值-与


# 多条件筛选数据
print(pd_data[(pd_data['车龄'] == '2018年') & (pd_data['变速箱'] == '自动')])




多条件取值-或


# 多条件筛选数据
print(pd_data[(pd_data['车龄'] == '2018年') | (pd_data['变速箱'] == '自动')])



字符串的开始函数

# 找出在 车辆概况 中以'大众'开头的
cars = pd_data[pd_data['车辆概况'].str.startswith('大众')]
print(cars)




字符串的结尾函数


# 找出在 车辆概况 中以'豪华型'结尾的
cars = pd_data[pd_data['车辆概况'].str.endswith('豪华型')]
print(cars)


字符串的包含函数‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

# 找出在 车辆概况 中包含'进口'的
cars = pd_data[pd_data['车辆概况'].str.contains('进口')]
print(cars)





统计元素个数


# 统计 过户分类 以及对应次数
trans_count = pd_data['过户情况'].value_counts()
print(trans_count)


为了便于进一步的数据分析,我希望将它们置于不同的数组之中,可以采用如下方法:


# 统计 过户分类 以及对应次数
trans_count = pd_data['过户情况'].value_counts()
# 针对于过户情况的分类
x1_data = trans_count.index.tolist()    
# 分类后各组数据的统计
x2_data = trans_count.tolist()      

print(x1_data)
print(x2_data)


这种格式的数据才是最适合做可视化分析的!


这里再多介绍两种方法,条条大路通罗马

都能轻松实现你的目标。

# 统计 过户分类 以及对应次数
trans_count = pd_data['过户情况'].value_counts()
# 针对于过户情况的分类
x1_data = trans_count.index.tolist()
x11_data = trans_count.index
x12_data = trans_count.index.values
# 类后各组数据的统计
x2_data = trans_count.tolist()
print('index.tolist():', x1_data)
print('index:', x11_data)
print('index.values:', x12_data)
print('x2:', x2_data)



分割字符串


这个功能也很实用,大家可以看看我的汽车名称数据这一列,我的目标仅仅是车名而已,后面的车型、车龄、排列、变速箱信息对我来说都是冗余信息。

非常不利于我后续数据可视化

所以字符串分割在这里就显得尤为重要。



# 对 汽车名称 这一列按照空格分割 并取第一个字符
pd_data['汽车名称'] = pd_data['车辆概况'].map(lambda x: x.split(" ")[0])
name = pd_data['汽车名称'].value_counts()
# 汽车名称分类
name1 = name.index.tolist()  
# 汽车名称对应数量
name2 = name.tolist()  
print(name1)
print(name2)


看到我取出来数据的样子了吗,要的就是这个!




清理数据


当我们相对汽车里程做进一步的分析时会发现数据后面都有一个'万公里',这种数据要做可视化必须先对数据进行处理,

就是先要去除数字后面的字符



我们可以使用字符串的replace()方法,使用空格替换字符


pd_data.loc[:, '表显里程new'] = pd_data['表显里程'].str.replace('万公里''').astype('float32')  # 去除 30 ’万公里‘
# 保存数据
pd_data.to_excel('测试1.xlsx')


黄色一列是我们处理之前的数据

绿色一列是我们处理之后的数据

已经达到了我们想要的效果




划分区间



现在有这么一个需求,我想要按照汽车的行驶里程分类,基本上每个车的行驶里程都是不一样的,如果将每个数据都反映在图标上就会看起来很冗余,

也就失去了作图的意义


所以我们可以按照区间来划分,例如5w-10w公里、10w-15w公里这样图表展示展示出来的效果就会很好了。



pd_data.loc[:, '表显里程new'] = pd_data['表显里程'].str.replace('万公里''').astype('float32')  # 去除 30 ’万公里‘
# 划分区间
pd_data['里程区间'] = pd.cut(pd_data['表显里程new'], [024681020],
                             labels=['0-2''2-4''4-6''6-8''8-10''>10'])
mile = pd_data['里程区间'].value_counts()
mile1 = mile.index.tolist()         # 里程区间分类
mile2 = mile.tolist()               # 里程区间分类对应数量
print(mile1)
print(mile2)




重置索引


其实我们在上面案例的演示中已经发现了,根据条件取出来的数据的索引都是处理数据之前的索引,

我们现在要重置索引的话要怎么办呢?

我们可是使用reset_index()来索引重置

重置索引前:

# 找出在 过户情况 中所有'0次'的汽车
cars = pd_data[pd_data['过户情况'].str.contains('0次')]
print(cars.reset_index())


重置索引后:



很好,但是不完美。多了一列colm name叫做 index的先前序列号。

不想看到它,有办法吗?

drop = True


# 找出在 过户情况 中所有'0次'的汽车
cars = pd_data[pd_data['过户情况'].str.contains('0次')]
print(cars.reset_index(drop=True))



column重命名


# 重命名
pd_data = pd_data.rename(columns = {'车辆概况':'车辆详情'})
print(pd_data)



分组统计groupby-单条件

# 统计不同变速箱总里程
pd_data.loc[:, '表显里程new'] = pd_data['表显里程'].str.replace('万公里''').astype('float32')    # 去除 30 ’万公里‘
trans_mile = pd_data.groupby('变速箱')['表显里程new'].sum()
print(trans_mile)




分组统计groupby-多条件


# 统计不同变速箱和过户情况总里程
pd_data.loc[:, '表显里程new'] = pd_data['表显里程'].str.replace('万公里''').astype('float32')    # 去除 30 ’万公里‘
trans_mile = pd_data.groupby(['变速箱','过户情况'])['表显里程new'].sum()
print(trans_mile)


如果再加上一个重置索引 trans_mile.reset_index()




求平均

# 统计不同过户次数车辆平均里程
pd_data.loc[:, '表显里程new'] = pd_data['表显里程'].str.replace('万公里''').astype('float32')    # 去除 30 ’万公里‘
trans_mile = pd_data.groupby('过户情况')['表显里程new'].mean()
print(trans_mile.reset_index())




apply函数


还记得我们爬取大学的那个教程吗?


爬虫+数据可视化选大学,小学妹直呼牛X


我们爬出来的数据如果是985或者是211显示为1,

如果非985或者211,显示为2



现在我不想要1和2了,因为我看不懂它是什么意思?如果是985或者211,就显示是,如果不是,就显示否!


pd_data = pd.read_excel('./全国高校数据.xlsx')
print(pd_data)
pd_data1 = pd_data.copy()  # 生成一个副本, 防止数据损坏
pd_data['f985'] = pd_data['f985'].apply(lambda x: '是' if x == 1 else '否')       # 通过匿名函数解决
pd_data['f211'] = pd_data['f985'].apply(lambda x: '是' if x == 1 else '否')       # 通过匿名函数解决
print(pd_data)


同理利用lambda函数我们还可以

给省份这一列后面加个''


pd_data = pd.read_excel('./全国高校数据.xlsx')
print(pd_data)
pd_data1 = pd_data.copy()  # 生成一个副本, 防止数据损坏

pd_data['province_name'] = pd_data['province_name'].apply(lambda x: x+'省')       # 通过匿名函数解决
print(pd_data)
'''


同理利用lambda函数我们还可以给

人气值view_total这一列最后面的'w'


pd_data['view_total'] = pd_data['view_total'].apply(lambda x: x[:-1])       # 通过匿名函数解决
print(pd_data)



求最大最小值


max_view_total = pd_data[pd_data['view_total'] == pd_data['view_total'].max()]
print(max_view_total)


min_view_total = pd_data[pd_data['view_total'] == pd_data['view_total'].min()]
print(min_view_total)



时间提取

为了便于演示,我加上了一列 Date 选项,如下:



现在我们想提取其中的年份或者月份,我们可以使用 'DatetimeIndex'这个方法来实现。


pd_data = pd.read_excel('./全国高校数据.xlsx')
pd_data['year'] = pd.DatetimeIndex(pd_data['Date']).year
pd_data['month'] = pd.DatetimeIndex(pd_data['Date']).month
pd_data['day'] = pd.DatetimeIndex(pd_data['Date']).day
print(pd_data)




增加列


我想把刚才的生成的年+月+日方法到前三列,可以使用insert()方法来实现

Year = pd.DatetimeIndex(pd_data['Date']).year
Month = pd.DatetimeIndex(pd_data['Date']).month
day = pd.DatetimeIndex(pd_data['Date']).day
pd_data.insert(0'Year', Year)
pd_data.insert(1'Month', Month)
pd_data.insert(2'day', day)
print(pd_data)


点击下方卡片进行关注,获取更多内容
点分享
点收藏
点点赞
点在看


good-icon 0
favorite-icon 0
收藏
回复数量: 0
    暂无评论~~
    Ctrl+Enter