首页 文章详情

10 个 Python 自动探索性数据分析神库!

Python学习与数据挖掘 | 124 2024-05-27 08:20 0 0 0
UniSMS (合一短信)
推荐关注↓ 加入 城哥知识星球 ,解惑答疑,告别迷茫
探索性数据分析是数据科学模型开发和数据集研究的重要组成部分之一。在拿到一个新数据集时首先就需要花费大量时间进行EDA来研究数据集中内在的信息。自动化的EDA Python包可以用几行Python代码执行EDA。
在本文中整理了10个可以自动执行EDA并生成有关数据的见解的Python包,看看他们都有什么功能,能在多大程度上帮我们自动化解决EDA的需求。
  1. DTale
  2. Pandas-profiling
  3. sweetviz
  4. autoviz
  5. dataprep
  6. KLib
  7. dabl
  8. speedML
  9. datatile
  10. edaviz

1、D-Tale

ce3ed1a556e4cb258d893633521a01c7.webpD-Tale使用Flask作为后端、React前端并且可以与ipython notebook和终端无缝集成。D-Tale可以支持Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。
    import dtale
import pandas as pd
dtale.show(pd.read_csv("titanic.csv"))
5aab6bfd8fa54b80b21834f77fcc6f88.webpD-Tale库用一行代码就可以生成一个报告,其中包含数据集、相关性、图表和热图的总体总结,并突出显示缺失的值等。D-Tale还可以为报告中的每个图表进行分析,上面截图中我们可以看到图表是可以进行交互操作的。2、Pandas-Profiling Pandas-Profiling可以生成Pandas DataFrame的概要报告。panda-profiling扩展了pandas DataFrame df.profile_report(),并且在大型数据集上工作得非常好,它可以在几秒钟内创建报告。
    #Install the below libaries before importing
import pandas as pd
from pandas_profiling import ProfileReport

#EDA using pandas-profiling
profile = ProfileReport(pd.read_csv('titanic.csv'), explorative=True)

#Saving results to a HTML file
profile.to_file("output.html")


6e69f042cd08b770195cd04d0e9a7b13.webp



3、Sweetviz 779659b1b9d04d708932f3f031f1a723.webpSweetviz是一个开源的Python库,只需要两行Python代码就可以生成漂亮的可视化图,将EDA(探索性数据分析)作为一个HTML应用程序启动。Sweetviz包是围绕快速可视化目标值和比较数据集构建的。
    import pandas as pd
import sweetviz as sv

#EDA using Autoviz
sweet_report = sv.analyze(pd.read_csv("titanic.csv"))

#Saving results to HTML file
sweet_report.show_html('sweet_report.html')
Sweetviz库生成的报告包含数据集、相关性、分类和数字特征关联等的总体总结。0f93e6e4ecc8062c1a1ede4849b45388.webp 4、AutoViz 13efbc63a8083ddecdec72c3cb3a2288.webpAutoviz包可以用一行代码自动可视化任何大小的数据集,并自动生成HTML、bokeh等报告。用户可以与AutoViz包生成的HTML报告进行交互。
    import pandas as pd
from autoviz.AutoViz_Class import AutoViz_Class

#EDA using Autoviz
autoviz = AutoViz_Class().AutoViz('train.csv')


29a45d4a23ba5cc1e7585b9fef0c072b.webp


5、Dataprep 4fcf268e59423007aad423b8bdda2f4e.webpDataprep是一个用于分析、准备和处理数据的开源Python包。DataPrep构建在Pandas和Dask DataFrame之上,可以很容易地与其他Python库集成。DataPrep的运行速度这10个包中最快的,他在几秒钟内就可以为Pandas/Dask DataFrame生成报告。
    from dataprep.datasets import load_dataset
from dataprep.eda import create_report

df = load_dataset("titanic.csv")
create_report(df).show_browser()
f2bead54d477d6b721b9dcdf966e1df7.webp6、Klib bcc92141ab677b73fff59632aadbe036.webpklib是一个用于导入、清理、分析和预处理数据的Python库。
    import klib
import pandas as pd

df = pd.read_csv('DATASET.csv')
klib.missingval_plot(df)
d2fe0baa09d50a08e3c4c7caf30f8470.webp
    klib.corr_plot(df_cleaned, annot=False)

fb24fe1dffb1d90b1810865ba9619944.webp

    klib.dist_plot(df_cleaned['Win_Prob'])


067634d99d9ee6678b151e3393c0db82.webp


    klib.cat_plot(df, figsize=(50,15))


7ed0357a734c6bdbcc72181deded888b.webp


klibe虽然提供了很多的分析函数,但是对于每一个分析需要我们手动的编写代码,所以只能说是半自动化的操作,但是如果我们需要更定制化的分析,他是非常方便的。e5df312600a07dacb4326e590097cae2.webp

7、Dabl

Dabl不太关注单个列的统计度量,而是更多地关注通过可视化提供快速概述,以及方便的机器学习预处理和模型搜索。d1d58c3be5abea71e672e122ac5e1ddc.webpdabl中的Plot()函数可以通过绘制各种图来实现可视化,包括:
  • 目标分布图
  • 散点图
  • 线性判别分析
    import pandas as pd
import dabl

df = pd.read_csv("titanic.csv")
dabl.plot(df, target_col="Survived")
d6d88d49dd2862d96be71ed465e75874.webp

8、Speedml

SpeedML是用于快速启动机器学习管道的Python包。SpeedML整合了一些常用的ML包,包括 Pandas,Numpy,Sklearn,Xgboost 和 Matplotlib,所以说其实SpeedML不仅仅包含自动化EDA的功能。SpeedML官方说,使用它可以基于迭代进行开发,将编码时间缩短了70%。
    from speedml import Speedml

sml = Speedml('../input/train.csv''../input/test.csv',
            target = 'Survived', uid = 'PassengerId')
sml.train.head()

c549b470dae375daa714b9894cf7ebdc.webp
    sml.plot.correlate()
86ff9f82b33f6680cd9899ecdb0d3f21.webp
    sml.plot.distribute()
1dd69a2d9c0897b3b9e05e2e97273107.webp
    sml.plot.ordinal('Parch')
606f115204e8044207b33abd7a89bd21.webp
    sml.plot.ordinal('SibSp')
5f11cdb0ec0dfc09ceeaa03d4390f8ea.webp
    sml.plot.continuous('Age')
370047db582b241030cf6f59412615fd.webp

9、DataTile

DataTile(以前称为Pandas-Summary)是一个开源的Python软件包,负责管理,汇总和可视化数据。DataTile基本上是PANDAS DataFrame describe()函数的扩展。
    import pandas as pd
from datatile.summary.df import DataFrameSummary

df = pd.read_csv('titanic.csv')
dfs = DataFrameSummary(df)
dfs.summary()
58d0a24da29fd98675ad4fd7714668d1.webp

10、edaviz

edaviz是一个可以在Jupyter Notebook和Jupyter Lab中进行数据探索和可视化的python库,他本来是非常好用的,但是后来被砖厂(Databricks)收购并且整合到bamboolib 中,所以这里就简单的给个演示。7a868d5a1ddfce0d1994e59bc991a9c6.webp
总结 在本文中,我们介绍了10个自动探索性数据分析Python软件包,这些软件包可以在几行Python代码中生成数据摘要并进行可视化。通过自动化的工作可以节省我们的很多时间。Dataprep是我最常用的EDA包,AutoViz和D-table也是不错的选择,如果你需要定制化分析可以使用Klib,SpeedML整合的东西比较多,单独使用它啊进行EDA分析不是特别的适用,其他的包可以根据个人喜好选择,其实都还是很好用的,最后edaviz就不要考虑了,因为已经不开源了。

- EOF -

星球服务

知识星球是一个面向 全体学生和在职人员 的技术交流平台,旨在为大家提供社招/校招准备攻略面试题库面试经验学习路线求职答疑项目实战案例内推机会等内容,帮你快速成长、告别迷茫。


涉及Python,数据分析,数据挖掘,机器学习,深度学习,大数据,搜光推、自然语言处理、计算机视觉、web 开发、大模型、多模态、Langchain、扩散模型、知识图谱等方向。


我们会不定期开展知识星球立减优惠活动,加入星球前可以添加城哥微信:dkl88191,咨询详情。


51ee18a0b19f509435b9ffbc768cc21d.webp


技术学习资料如下,星球成员可 免费获取2个 ,非星球成员,添加城哥微信: dkl88191 ,可以单独购买。


35fd5bdc8843adae8a05b6bd3bb783d7.webp


332a0dc86a27b856c1735fe310be5381.webp


2fa9b41ab1e8223e8081ec8a33ef4135.webp


5c24c9544d6b4623b1b449e5b9c6a5b8.webp


989198a8b5f4ce0113a10b331454fce4.webp


fd76745ab01fbf7416ddaf4cc307e42f.webp


85aa3ab52409d320d3bd2e91fa9c1a4a.webp


good-icon 0
favorite-icon 0
收藏
回复数量: 0
    暂无评论~~
    Ctrl+Enter