爬取的方法多种多样,今天和大家分享一种较为简单的方法,即通过微信公众号后台的“超链接”功能进行爬取。可能有些小伙伴没有接触过微信公众号的后台,这里贴张图让大家了解一下
到这里有些小伙伴可能会说,我不能登录公众号后台怎么办???
没关系,虽然我们每次爬虫目的是为了得到我们想要的结果,但这并不是我们学习的重点,我们学习的重点是爬虫的过程,是我们如何去得到目标数据,所以不能登录公众号后台的小伙伴看完这篇文章可能无法获取到最终的爬取结果,但是看完这篇文章你同样会有所收获。
选择爬取的目标公众号
点击超链接–进入编辑超链接界面–输入搜索我们需要爬取的目标公众号
今天我们就以爬取“数据分析”这个公众号为例为大家进行介绍
点击公众号可以看到每篇文章对应的标题信息
我们这次爬虫的目标就是得到文章标题以及对应的链接。
爬虫三步曲:
- 请求网页
- 解析网页
- 保存数据
1、请求网页
首先导入我们本次爬虫需要用到的第三方库
查找我们爬取的目标数据所在位置,点击通过查找得到的包,得到目标网址以及请求头信息
请求网页
这里的请求头信息必须添加上cookie的信息,否则无法得到网页信息
网页的请求结果如下图所示,红色框标出的为我们需要的文章标题以及文章链接
2、解析网页
从得到的网页响应结果中我们可以看到,每篇文章的标题和链接都分别在"title"标签和"cover"标签后面,所以我们可以采用正则表达式直接对其进行解析
解析后结果如下
3、保存数据
到此本次的爬虫就已经完成,我们来看一下最终结果