【Python爬虫】如何批量获取和下载短视频APP网页端的视频和图集,更新于2024.11.7

   日期:2024-12-25    作者:oc37s 移动:http://ljhr2012.riyuangf.com/mobile/quote/21757.html

一、2024.9.5更新内容:通过Python-request和Python-selenium实现【批量获取和下载】,【失败重试】两个功能。

二、2024.11.7更新内容:还是改为三部曲【采集主页并保存】、【对比本地目录】、【下载】。这个版本的好处是如果再次下载,就无需全部下载所有的视频,然后替换,一方面这样很慢很麻烦,另一方面如果作者修改了作品名称,就容易重复下载。

这部分与之前相比内容更新了不多,只是多爬了一个标题文本并且储存在Excel表格中。

 
 

将爬取到的列表与本地已存储文件进行对比(通过对比ID确认,从而生成一个新的列表Unload_list,之后对这个列表中的url逐个下载。

 
 

将列表内容逐个下载,可以是新的作者列表(UpName,也可以是老的作者列表(Unload_list

 
 

通过脚本实现对作者主页所有视频和图集的抓取、下载、列表储存(抓取列表和失败列表)。

输入作者主页网址后,手动下拉到底,确认抓取后,脚本会输出抓取到的视频列表(aid,title,url,停顿后,再通Python-request下载视频或图集,并将下载失败的aid重新储存输出。

 
 

这实际上是上一个脚本的后半部分,通过把失效列表复制过来重新下载,可以实现查缺补漏。


 

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关最新动态
推荐最新动态
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号