分享好友 最新动态首页 最新动态分类 切换频道
4.网络爬虫—Post请求(实战演示)
2024-12-27 04:23

前言
📝​📝​此专栏文章是专门针对Python零基础爬虫,欢迎免费订阅
📝​📝第一篇文章获得全站热搜第一,python领域热搜第一,欢迎阅读
🎈🎈欢迎大家一起学习,一起成长
💕💕:悲索之人烈焰加身,堕落者不可饶恕。永恒燃烧的羽翼,带我脱离凡间的沉沦。

Python中的POST请求是HTTP协议中的一种请求方法,用于向服务器提交数据。与GET请求不同,POST请求将数据封装在请求体中,而不是在URL中传递。通常情况下,POST请求用于向服务器提交表单数据、上传文件等操作
示例代码如下

 

这个例子中,我们向这个URL发送了一个POST请求,请求体中包含了和两个字段的数据。服务器接收到请求后,可以根据数据进行相应的处理,并返回响应结果。表示服务器返回的文本内容。

Python中的GET请求也是HTTP协议中的一种请求方法,用于向服务器请求数据。与POST请求不同,GET请求将数据以查询字符串的形式附加在URL后面,而不是封装在请求体中。通常情况下,GET请求用于向服务器请求某个资源,比如获取网页、图片、视频等
示例代码如下

 

这个例子中,我们向这个URL发送了一个GET请求,查询字符串中包含了的参数。服务器接收到请求后,根据参数返回相应的数据,表示服务器返回的文本内容。

(1)post请求更安全

不会作为url的一部分,不会被缓存、保存在服务器日志、以及浏览器浏览记录中,get请求的是静态资源,则会缓存,如果是数据,则不会缓存

(2)post请求发送的数据更大

get请求有url长度限制,http协议本身不限制,请求长度限制是由浏览器和web服务器决定和设置

(3)post请求能发送更多的数据类型

get请求只能发送ASCII字符

(4)传参方式不同

get请求参数通过url传递,post请求放在request body中传递

(5)get请求产生一个TCP数据包;post请求产生两个TCP数据包

get请求,浏览器会把http header和data一并发送出去,服务器响应200返回数据;post请求,浏览器先发送header,服务器响应100
continue,浏览器再发送data,服务器响应200 返回数据

爬百度官网logo实战

快速找到图片链接位置

右键空白处 --> 检查 --> 鼠标附魔 --> 点击图片找到对应的链接
需要确认和检查图片链接是否完整

右键空白处 --> 检查 --> 鼠标附魔 --> 点击图片找到对应的链接

接着就是敲代码,把照片获取到本地。

代码如下

 

导入requests库,用于发送HTTP请求和获取响应数据。
定义一个URL变量,表示要下载的图片的链接。
使用requests.get()方法发送GET请求,获取图片的二进制数据。
打开一个文件(这里是百度logo.png,使用wb模式打开,表示以二进制写入模式打开文件。
将获取到的二进制数据写入文件中。 关闭文件。
最终,运行这段代码会在当前目录下生成一个名为百度logo.png的图片文件,内容为从指定URL下载的图片。

百度翻译实战

1.确认爬虫的流程(获取数据的时候,根据流程操作

找数据(先到网页源代码里面找数据
如果数据不在网页源代码

数据在哪里
如何快速找到数据并确认它
三种方法

筛选 刷新 搜索

搜索

通过三种方式找到数据,接下来写代码拿出我们想要的数据

 
 
 

模拟登录17k小说网

接下来开始找数据,账号密码,方便我们登录个人主页

 

运行代码,看看我们是否登录成功

看到我们的登录昵称,说明我们登录成功了,接下来我们通过代码进入个人主页

 
 

我们得到了个人主页的html页面代码,在里面我们可以看到,最近阅读和最近收藏等,说明我们本次成功的获取了想要的数据。

获取不到需要的数据

增加cookie等其他比较重要的请求头信息

获取的数据是乱码状态

写Accept-Encoding 容易乱码 请求头里面不要写

 
 
最新文章
淘宝已处理评价7个有什么影响
一、淘宝已处理评价7个有什么影响?在淘宝中,如果一个商家的评价数量达到7个并且已被处理,通常会有以下影响:1.信誉提升:评价数量的增加可以增加商家的信誉度。当商家的评价数量超过一定的阈值,并且这些评价已被处理,可能会对其他买家
百度词典搜索怎么用
  百度词典搜索的使用很简单,无论您是要查询英文的汉语解释,还是要查汉语的英文解释,或是查询汉语单字、词语、成语解释,均只需在一个搜索框内直接输入,按回车键或点百度一下按钮,即可得到您想要查询的内容。  百度词典搜索支持全
阿里巴巴seo排名优化(SEO文章排名优化)
阿里巴巴SEO排名优化 随着电子商务的快速发展,搜索引擎优化(SEO)已经成为提高网站流量和转化率的关键手段之一。作为国内知名的电商平台,阿里巴巴也十分重视SEO排名优化。本文将介绍阿里巴巴SEO排名优化的基本
不吹不黑!年均PUE 1.1的百度首个自建超大型数据中心是什么水平?
PUE 1.1如何炼成? 出北京沿京昆高速一直走,经过保定、石家庄即到山西阳泉,从地理位置、气候条件、网络设施和电价等因素上考量,阳泉不是传统意义上受青睐的数据中心选址地,百度第一个自建超大型数据中心
鲁大师手机在线观看视频教程:轻松学会手机优化
这些视频教程内容丰富,涵盖了手机优化的各个方面。比如,它会教我们如何清理手机内存,释放更多的存储空间;如何关闭不必要的后台程序,提高手机的运行速度;如何优化手机的电池管理,延长电池的使用寿命;如何设置手机的网络连接,提高网
漫画台app免费下载2025最新版
漫画台2025安卓最新版,是一款专为漫画追番打造的漫画资源整合软件,平台每日同步更新海量正版漫画,国漫、日漫,热血、武侠、玄幻、霸道、搞笑各种类别应有尽有,满足用户的多样化看漫画需求,高清漫画还支持离线下载没网也能看。漫画台20
百度指数的基本功能是什么
在当今数字化的时代,数据的价值愈发凸显,而百度指数作为百度公司推出的一款专业的互联网数据分析工具,其基本功能在帮助用户洞察网络舆情、把握市场动态、优化营销策略等方面发挥着重要的作用。百度指数的基本功能之一是关键词搜索热度监
落地香港,威盛AI助力工程机械安全升级!
  日前,威盛携威盛Mobile360 AI工程机械解决方案受邀参加由德利机械有限公司及德利机械控股有限公司(德利机械)举办的“新型智能机械安全简介会”,会场演示多元化的安全智慧工地系统(4S)产品,助力业界提升建筑业安全标准。  此次大会
苹果手机AI智能写作助手:一键生成学术论文、报告及创意文案软件解决方案
在数字化时代,智能写作助手的出现极大地提升了写作效率其对学术研究者、报告撰写者和创意文案工作者而言一款强大的智能写作软件更是如虎添翼。苹果手机以其特别的操作系统和强大的硬件性能,成为了众多写作爱好者的首选设备。本文将为您详
股票怎么打开?如何开始进行股票投资?
股票投资入门指南接下来,您需要开通一个证券账户。这就像是您进入股票市场的“通行证”。您可以选择传统的证券公司,也可以考虑在线券商平台。在选择时,要综合考虑手续费、服务质量、交易工具等因素。以下是一个简单的对比表格,帮助您了
相关文章
推荐文章
发表评论
0评