分享好友 最新动态首页 最新动态分类 切换频道
无【下一页】按钮,点击数字进行翻页
2024-12-09 00:30
无【下一页】按钮,点击数字进行翻页 点击数

有的网页无下一页按钮,通过点击数字进行翻页,示例网址如:http://stock.cngold.org/news/

使用智能识别和自行配置的采集规则,都能实现点击数字进行翻页,具体设置方法如下:

八爪鱼的智能识别,支持【数字翻页】的智能识别,如下视频所示:

 

如果想了解背后的原理,我们可以来尝试自己配置这类网页的采集流程。

 

让八爪鱼不断点击数字进行翻页:当前页是第1页,点第2页;当前页是第2页,点第3页.......当前页是最后1页,结束【循环翻页】。

所以问题的关键是:需要写一条XPath,使其始终能定位到当前页的下一页(最后1页除外)。需要大家有一定的XPath知识,点击学习 XPath学习与实例 。以下为具体步骤。

 

Step1. 写一条XPath,使其始终能定位到当前页的下一页(最后1页除外)。分2步:先定位到当前页;再定位到当前页的下一页。打开火狐浏览器,用XPath工具观察此网页页码的网页源码。点击查看 火狐XPath工具安装

 

先定位到当前页。

当前页分别是第1页、第2页、第3页......最后1页时,观察网页源码的特征。我们发现:当前页的源码是span标签,而其他页则是a标签。

 

特别说明:

a. 这个网页,当前页和其他页的源码区别非常明显。但有的网页可能没这么明显,请大家耐心去找到当前页和其他页的源码区别。

 

继续观察当前页源码中span标签的特征,找到具有唯一性的那个特征。我们发现,当前页对应的span标签,具有class属性,且class属性的属性值为thisclass。根据这个特征,写出一条定位XPath://span[@class="thisclass"] 。

检查后发现,能定位到每个当前页。

 

 

再定位到当前页的下一页 。

在XPath中,【following-sibling:: 】函数可实现。【following-sibling:: 】的意思是,定位到当前标签后面的所有同级标签。

 

a. 什么是同级标签?HTML文档是树状结构,标签之间具有层级性。同级标签即处于同一层级的标签。

 

 

//span[@class="thisclass"]定位到了class属性值为thisclass的span标签,这个span标签后面的同级标签是a标签。则 //span[@class="thisclass"]/following-sibling::a ,就定位到了此span标签后面的所有同级a标签。

 

由于我们是 需要定位到当前页的下一页,所以只需要定位到第一个a标签,在a后面加上[1]即可。最终的定位XPath为://span[@class='thisclass']/following-sibling::a[1]

Step2. 在八爪鱼中创建一个【循环翻页】。往流程中拖入一个【循环】步骤,选择循环方式为【单个元素】,将上面写好的XPath://span[@class='thisclass']/following-sibling::a[1],复制到【单个元素】后面的文本框中,点击【确定】保存。

 

再往【循环】里面拖入一个【点击元素】的步骤,设置Ajax超时时间为7秒,然后点击【确定】保存。手动执行一个规则,发现可正常翻页。

为什么要设置Ajax?点击查看 Ajax教程 。 

 

 

接下来就是按需提取数据了,不再赘述。

最新文章
ai生成影视解说文案技巧教程:自动生成器与使用
在数字化浪潮的推动下人工智能技术已经渗透到影视行业的方方面面。影视解说文案作为影片推广的要紧环节其优劣直接关系到观众的兴趣和影片的票房。如今生成影视解说文案的技术应运而生它不仅可以增进工作效率还能保证文案的优劣和创新性。本
guid硬盘格式如何设置bios
文章目录浅谈分区格式MBR与GPT区别前言一、硬盘的物理结构二、MBR是什么?三、GPT是什么?总结 电脑硬盘分区格式一共有两种,一种是GUID(GPT),一种是MBR。 这里先介绍硬盘的物理结构: 磁头(Heads):每张磁片的正反两面各有一个磁头,一
体验革命性的创作工具:AI写作软件永久免费版!
ai写作软件的免费版正式发布了!这款神奇的创作工具将带来完全颠覆性的写作体验,让你在写作领域中事半功倍。不仅如此,这个免费版更是享受永久免费的待遇,真可谓诚意满满。AI写作软件的理念是结合人工智能和自然语言处理技术,为用户提供
全面解析AI智能文案生成器:功能、应用及用户体验分享
在科技的浪潮推动下人工智能()已经渗透到咱们生活的方方面面文案写作也不例外。智能文案生成器作为现代商业中的新兴力量正在改写着内容创作的传统规则。本文将从功能、应用和使用者体验三个方面全面解析智能文案生成器的发展现状与未来趋
火出圈的ChatGPT,如何让安全检测更智能
ChatGPT(Chat Generative Pre-trained Transformer)是一款美国OpenAI研发的聊天机器人程序,能够通过理解和学习人类语言来进行对话,根据聊天的上下文与使用者互动,真正像人类一样聊天交流。它甚至能完成
GP人工智能网页版的易用性分析
GP人工智能网页版的易用性分析可以从以下几个方面进行详细探讨:个性化推荐:通过分析用户的浏览历史、兴趣偏好等数据,智能网页能够为用户提供个性化的内容推荐,提升用户体验。以GPD人工智能网页版为例,它利用先进的推荐算法,根据用户
预告丨跨年狂欢,来殷墟就够了!
与万千同城网友一起聚焦安阳!建站18年 | 关注民生丨服务生活点此亲启致过去一年亲爱的自己站在岁末的路口回首望去每个人都走过了一段时光的路有过春日里的希望萌动也有夏日骄阳下的炽热奔忙可能秋日的落叶写着失落与怅惘但是只要把掌心贴
普通下载url与迅雷快车旋风下载地址转换原理分析
例如华军winrar 3.71的下载地址是普通下载url与迅雷快车旋风下载地址转换原理分析_千里疯狂 http://p2s.newhua.com/down/wrar371sc.exe 1、普通地址转换为迅雷地址 在原地址前面加”AA”,后面加”ZZ”(注:不包括引号),
《SEO推广秘籍:揭秘如何打造搜索引擎营销的视觉革命与媒介深度》(SEO推广秘籍如何让你的网站一夜爆红)
:SEO推广:揭秘提升网站排名的秘密武器随着互联网的快速发展,越来越多的企业开始重视网络营销,而SEO(搜索引擎优化)推广成为了企业提升网站排名、增加流量的重要手段。那么,SEO推广究竟是如何工作的?又有哪些方法可以帮助企业提升网
相关文章
推荐文章
发表评论
0评