分享好友 最新动态首页 最新动态分类 切换频道
【Python爬虫】如何批量获取和下载短视频APP网页端的视频和图集,更新于2024.11.7
2024-12-25 18:26

一、2024.9.5更新内容:通过Python-request和Python-selenium实现【批量获取和下载】,【失败重试】两个功能。

二、2024.11.7更新内容:还是改为三部曲【采集主页并保存】、【对比本地目录】、【下载】。这个版本的好处是如果再次下载,就无需全部下载所有的视频,然后替换,一方面这样很慢很麻烦,另一方面如果作者修改了作品名称,就容易重复下载。

这部分与之前相比内容更新了不多,只是多爬了一个标题文本并且储存在Excel表格中。

 
 

将爬取到的列表与本地已存储文件进行对比(通过对比ID确认,从而生成一个新的列表Unload_list,之后对这个列表中的url逐个下载。

 
 

将列表内容逐个下载,可以是新的作者列表(UpName,也可以是老的作者列表(Unload_list

 
 

通过脚本实现对作者主页所有视频和图集的抓取、下载、列表储存(抓取列表和失败列表)。

输入作者主页网址后,手动下拉到底,确认抓取后,脚本会输出抓取到的视频列表(aid,title,url,停顿后,再通Python-request下载视频或图集,并将下载失败的aid重新储存输出。

 
 

这实际上是上一个脚本的后半部分,通过把失效列表复制过来重新下载,可以实现查缺补漏。


最新文章
B站推广网站:1. "在B站发现无限创意,开启你的精彩之旅
B站作为一个充满活力的社区,吸引了大量年轻用户。在这个平台上建立个人品牌,不仅能够展示自己的才华,还能与志同道合的人进行互动。针对想要在B站推广自身内容的小伙伴们,以下几点建议可以帮助你更有效地开展工作。为了成功吸引关注,需
11月全球手机销量排名:前十大品牌最新数据盘点
在当今这个数字化飞速发展的时代,智能手机已经成为我们生活中不可或缺的一部分。它们不仅仅是通讯工具,更是我们日常生活的重要组成部分,如支付、导航、娱乐等。因此,了解全球手机销量排名,尤其是前十大品牌的最新数据,对于科技爱好者
5款不同风格的小程序界面设计模板,一篇文章包揽你的小程序设计
在小程序开发日益火爆的当下,拥有一款吸引人的界面设计至关重要。不同的风格能够满足不同类型小程序的需求,为用户带来独特的体验。以下将为您详细介绍 5 款各具特色的小程序界面设计模板。一、简约清新风格小程序界面设计模板色彩搭配:
2024年如何通过免费方式在B站进行有效推广-提高曝光率
在2024年,随着短视频和社交平台的快速发展,B站已经成为了年轻人和内容创作者的一个重要阵地。然而,很多新晋创作者对于如何在B站进行有效推广还存在很多困惑,尤其是如何利用免费的方式提升自己的曝光率。本文将为你介绍2024年B站免费推
B2B电子商务网站大全
中国B2B商务网网站公告:在电子商务蓬勃发展的今天,越来越多的人通过互联网购买和销售各种产品,B2B电子商务大全网站是将基于互联网上的各种B2B电子商务网站经过搜集整理,按照行业,类目将他们呈现在需要借助这种B2B电子商务网站的广大网
html5简单的 登陆界面
!DOCTYPE htmlhtml lang=en class=no-jsheadmeta charset=utf-8title3S商店登陆/titlemeta name=viewport content=width=device-width, initial-scale=1.0meta name=description content=meta name=author content=!-- CSS --link rel=styl
10岁儿童玩的手机游戏大全2021 适合10岁孩子玩的手游排行榜前十名
很多到10岁就已经有手机的人每天很无聊不知道玩什么,所以今天小编带给大家10岁儿童玩的大全2021。有的家长不让玩不适合自己年龄的游戏,自己又不知道怎么劳逸结合,因此非常苦恼。所以就让我们来看看吧。 1、《樱花校园生活》 这是一款单
cad图怎么导入word中?如何在ppt中添加cad图
CAD拥有强大的绘图功能,在设计行业已经成为一种不可替代的工具了,工作中我们经常需要把某个CAD图片插入到word或者ppt中进行工作汇报,很多人采用粘贴复制的方法发现周边空白太大,无法调节,结果不如人意,那么今天以office2016和CAD2018
Centos7下Docker部署go-web项目
1.1 卸载Docker:1.2配置镜像源(阿里云镜像源) 1.3安装docker 1.4镜像加速1.5测试2.1拉取golang镜像, 2.2拉取mysql,redis镜像指令详解:外部:navicat 连接数据库: 主机:虚拟机ip地
fiddler安装与配置(PC浏览器抓包&手机APP抓包)
Fiddler的安装与使用Fiddler的简介 Fiddler是位于客户端和服务器端之间的代理,也是目前最常用的抓包工具之一 。它能够记录客户端和服务器之间的所有 请求,可以针对特定的请求,分析请求数据、设置断点、调试web应用、修改请求的数据,甚
相关文章
推荐文章
发表评论
0评