4.网络爬虫—Post请求(实战演示)

   日期:2024-12-27    作者:nikgz 移动:http://ljhr2012.riyuangf.com/mobile/quote/64182.html

前言
📝​📝​此专栏文章是专门针对Python零基础爬虫,欢迎免费订阅
📝​📝第一篇文章获得全站热搜第一,python领域热搜第一,欢迎阅读
🎈🎈欢迎大家一起学习,一起成长
💕💕:悲索之人烈焰加身,堕落者不可饶恕。永恒燃烧的羽翼,带我脱离凡间的沉沦。

Python中的POST请求是HTTP协议中的一种请求方法,用于向服务器提交数据。与GET请求不同,POST请求将数据封装在请求体中,而不是在URL中传递。通常情况下,POST请求用于向服务器提交表单数据、上传文件等操作
示例代码如下

 

这个例子中,我们向这个URL发送了一个POST请求,请求体中包含了和两个字段的数据。服务器接收到请求后,可以根据数据进行相应的处理,并返回响应结果。表示服务器返回的文本内容。

Python中的GET请求也是HTTP协议中的一种请求方法,用于向服务器请求数据。与POST请求不同,GET请求将数据以查询字符串的形式附加在URL后面,而不是封装在请求体中。通常情况下,GET请求用于向服务器请求某个资源,比如获取网页、图片、视频等
示例代码如下

 

这个例子中,我们向这个URL发送了一个GET请求,查询字符串中包含了的参数。服务器接收到请求后,根据参数返回相应的数据,表示服务器返回的文本内容。

(1)post请求更安全

不会作为url的一部分,不会被缓存、保存在服务器日志、以及浏览器浏览记录中,get请求的是静态资源,则会缓存,如果是数据,则不会缓存

(2)post请求发送的数据更大

get请求有url长度限制,http协议本身不限制,请求长度限制是由浏览器和web服务器决定和设置

(3)post请求能发送更多的数据类型

get请求只能发送ASCII字符

(4)传参方式不同

get请求参数通过url传递,post请求放在request body中传递

(5)get请求产生一个TCP数据包;post请求产生两个TCP数据包

get请求,浏览器会把http header和data一并发送出去,服务器响应200返回数据;post请求,浏览器先发送header,服务器响应100
continue,浏览器再发送data,服务器响应200 返回数据

爬百度官网logo实战

快速找到图片链接位置

右键空白处 --> 检查 --> 鼠标附魔 --> 点击图片找到对应的链接
需要确认和检查图片链接是否完整

右键空白处 --> 检查 --> 鼠标附魔 --> 点击图片找到对应的链接

接着就是敲代码,把照片获取到本地。

代码如下

 

导入requests库,用于发送HTTP请求和获取响应数据。
定义一个URL变量,表示要下载的图片的链接。
使用requests.get()方法发送GET请求,获取图片的二进制数据。
打开一个文件(这里是百度logo.png,使用wb模式打开,表示以二进制写入模式打开文件。
将获取到的二进制数据写入文件中。 关闭文件。
最终,运行这段代码会在当前目录下生成一个名为百度logo.png的图片文件,内容为从指定URL下载的图片。

百度翻译实战

1.确认爬虫的流程(获取数据的时候,根据流程操作

找数据(先到网页源代码里面找数据
如果数据不在网页源代码

数据在哪里
如何快速找到数据并确认它
三种方法

筛选 刷新 搜索

搜索

通过三种方式找到数据,接下来写代码拿出我们想要的数据

 
 
 

模拟登录17k小说网

接下来开始找数据,账号密码,方便我们登录个人主页

 

运行代码,看看我们是否登录成功

看到我们的登录昵称,说明我们登录成功了,接下来我们通过代码进入个人主页

 
 

我们得到了个人主页的html页面代码,在里面我们可以看到,最近阅读和最近收藏等,说明我们本次成功的获取了想要的数据。

获取不到需要的数据

增加cookie等其他比较重要的请求头信息

获取的数据是乱码状态

写Accept-Encoding 容易乱码 请求头里面不要写

 
 

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关最新动态
推荐最新动态
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号