首页 文章详情

新工具上线!只需2步助你轻松学爬虫!

大邓和他的Python | 592 2021-03-11 14:19 0 0 0
UniSMS (合一短信)

作者简介:张老师,学习计算机十余年,在信息安全、生物信息学、会计、平面设计、编辑出版等多个领域也均有涉猎,热爱钻研、热爱考证、热爱生活。

来源:菜J学Python


不买也可以分享给需要的人哦

你还在为Python爬虫入门发愁么?

你还在构建requests请求发愁么?

它来了!它就是curl2pyreqs库。


curl2pyreqs是一款基于 Python 实现的 curl 转换工具,可以直接将 curl 请求转换为使用 python-requests 的 Python 脚本。

Github:https://github.com/knightz1224/curl2pyreqs/


只需2步自动生成requests文件:

1. 复制

2. 运行


接下来让我们体验一下~



一、系统要求

版本:Python 3.8+

依赖:pyperclip >= 1.8.0

Linux下需安装X剪贴板组件,如xclip或xsel。


二、安装方法(推荐使用清华源安装)

Windows 下,在命令行输入:

> pip install curl2pyreqs


Mac OS 或 Linux 下,在终端输入:

$ pip3 install curl2pyreqs


三、使用方法

1. 复制

在Chrome或Firefox浏览器中,按F12,打开开发者模式,复制curl请求;



2. 运行

运行curl2pyreqs,即可生成对应的requests代码,并且直接复制到了剪贴板中。


最后,粘贴到Python文件中即可修改代码。


四、Termux补丁


Termux 是一款支持 Linux 环境的 Android 终端模拟器APP。你无需对手机进行root或额外设置即可使用。Termux的环境配置请参见相关教程:手把手教你在手机或平板上配置Python环境!》

由于pyperclip暂时不支持Termux的复制粘贴,所以张老师为大家做了一个补丁,这个补丁为pyperclip添加了Termux支持。具体安装方法如下:

安装Termux:API,下载地址:

https://f-droid.org/repo/com.termux.api_47.apk

安装termux-api依赖包

pkg install termux-api

下载补丁并安装:

git clone https://github.com/knightz1224/termux_pyperclip_patch
cd termux_pyperclip_patch
python setup.py

安装完成后,我们就可以使用curl2pyreqs了


五、其他使用方法

如无法调用剪贴板,可以通过将curl请求存入文本文件进行转换:

以UTF-8编码格式存入文本,如example.curl


运行curl2pyreqs -F example.curl,即可生成对应的example.py文件。


最后,查看example.py文件,里面已经是完整的代码了。


六、结语

其他使用方法请参见项目Github:


https://github.com/knightz1224/curl2pyreqs/



近期文章

优惠券|Python网络爬虫与文本数据分析
bsite库 | 采集B站视频信息、评论数据
爬虫实战 | 采集&可视化知乎问题的回答
pdf2docx库 | 转文件格式,支持抽取文件中的表格数据
rpy2库 | 在jupyter中调用R语言代码
tidytext | 耳目一新的R-style文本分析库
reticulate包 | 在Rmarkdown中调用Python代码
plydata库 | 数据操作管道操作符>>
plotnine: Python版的ggplot2作图库
七夕礼物 | 全网最火的钉子绕线图制作教程
读完本文你就了解什么是文本分析
文本分析在经管领域中的应用概述  
综述:文本分析在市场营销研究中的应用
plotnine: Python版的ggplot2作图库
小案例: Pandas的apply方法  
stylecloud:简洁易用的词云库 
用Python绘制近20年地方财政收入变迁史视频  
Wow~70G上市公司定期报告数据集
漂亮~pandas可以无缝衔接Bokeh  
YelpDaset: 酒店管理类数据集10+G  

    分享”和“在看”是更好的支持


good-icon 0
favorite-icon 0
收藏
回复数量: 0
    暂无评论~~
    Ctrl+Enter