分享好友 最新资讯首页 最新资讯分类 切换频道
爬虫|利用Anyproxy爬取微信公众号文章及临时链接转永久链接
2024-12-20 13:35

一、先说整体的解决方案

爬虫|利用Anyproxy爬取微信公众号文章及临时链接转永久链接

二、再说具体的解决方案,主要是第2点

1)一个微信客户端:下载一个安卓模拟器,在这个模拟器上安装一个微信app。

2)一个微信个人号:为了采集内容不仅需要微信客户端,还要有一个微信个人号专门用于发送临时链接。

3)本地代理服务器系统:使用的方法是通过Anyproxy代理服务器将临时链接和永久链接发送到我们自己的服务器上进行替换。具体安装设置方法在后面详细介绍。

我使用的是Anyproxy这个软件的特点是可以获取到https链接的内容。在2016年年初的时候微信公众号和微信文章开始使用https链接。并且Anyproxy可以通过修改rule向服务器发送请求。下面开始介绍安装与配置过程。

1、安装NodeJS

2、在命令行或者终端运行 npm install -g anyproxy

3、生成RootCA,https需要这个证书:运行命令anyproxy --root

4、启动anyproxy运行命令:win+R打开运行,输入anyproxy -i;参数-i是解析HTTPS的意思;

5、安装证书,在安卓模拟器中安装证书:启动anyproxy,浏览器打开http://localhost:8002/fetchCrtFile能获取rootCA.crt文件

4)修改Anyproxy文件rule_default.js,获取抓包中的协议内容。

PS:使用Anyproxy可以直接获取微信公众号的全部文章(永久链接),包括点赞数,阅读数之类的信息。这样的话可以不用使用搜狗。不过这里会有些问题,微信会封你在做这个事情的微信个人号,所以我采取的是使用搜狗爬文章(急),再利用Anyproxy在临时链接有效时间内更新为永久链接。

最新文章
淮滨网站制作:打造卓越数字体验的终极指南392
在当今数字时代,拥有一个精心设计的网站对于企业取得成功至关重要。淮滨网站制作公司已准备就绪,为您提供全面的网站制作流程,
五招制胜,SEO网站快速排名攻略,成为搜索引擎霸主之道
本攻略揭秘SEO网站快速排名五大秘诀,助你轻松成为搜索引擎霸主。掌握关键词优化、高质量内容、外部链接建设、用户体验和网站结
360网站推广怎么做
360网站推广的方法主要包括以下几点:,,1. 确定目标受众:明确推广的目标群体,以便制定针对性的推广策略。,2. 优化网站SEO:
SEO优化方法哪些对于网站最有帮助?
网站建设后的SEO优化工作对于网站的推广和营销非常重要。在合理规则的前提下,需要做很多工作来快速提高网站关键词的排名。那么
南通SEO网站排名优化,助力企业流量倍增,迈向腾飞之路
南通SEO网站排名优化服务,专注于提升网站流量,通过专业策略助力企业实现在线市场突破,加速业务腾飞。随着互联网的快速发展,
百度蜘蛛池优化:蜘蛛池的作用与功效,揭秘网络营销的秘密武器
百度蜘蛛池优化是网络营销的重要手段,通过提高网站收录和流量,助力企业品牌推广。本文揭秘蜘蛛池的作用与功效,探讨如何利用这
公众号重磅改版!服务号完全被折叠,阅读量暴跌?
9月13日,小公举观察到,“服务号”和“微信订阅号消息”列表页面出现了重大变化!服务号推送的内容被完全折叠进了“服务号”页面
kvm 动态虚拟磁盘 虚拟可移动磁盘
序言我们在学习的过程中不可能购买大量不同的硬盘来操作,那样太过耗费物力且没有必要,其实我们常用的Windows就有一个创建虚拟
怎样快速构建UI界面?用这个AI一键生成!
更新时间:2024-04-15 14:27:04怎样快速构建 UI 界面?用这个 AI 一键生成 —— 即时 AI ,文字生成界面设计图的宝藏工具,使用
二、内容优化:提升用户体验和搜索引擎友好度
随着互联网的快速发展,越来越多的企业和个人开始关注SEO(搜索引擎优化)技术,以提高自己的网站在搜索引擎中的排名。提升网站