分享好友 最新动态首页 最新动态分类 切换频道
selenium 知网爬虫之根据【关键词】获取文献信息
2024-12-26 12:35

selenium 知网爬虫之根据【关键词】获取文献信息


关于知网爬虫的文章,后台反响都很不错。虽然但是,还是忍不住想诉苦一下

有些小伙伴文章甚至代码看都没看完,就问我 ”为什么只能爬这么多条文献信息?“(看过代码的会发现我代码里面定义了 变量来设置爬取篇数),”为什么爬其他文献不行?我想爬 XXX 文献“(因为代码里面写的是通过【知网高级搜索中的文献来源】来搜索文章),或者是有些小伙伴直接把代码报错贴给我,问我咋回事

我觉得在网上看到别人的代码,不要一昧地拿来主义,复制粘贴就行了,你要结合你自己的本地环境对代码做适当地修改。比如定位 Xpath 元素路径,不通电脑或者说不同浏览器同一元素的 Xpath 路径有可能不是一样的,这个路径在我本地运行没问题,到了你那里就报错

当看别人的代码时,最好先搞清楚:

  1. 别人是怎么想的
  2. 别人为什么要这么写
  3. 这么写的逻辑是什么?

以我这几篇知网爬虫文章举例:

  1. 为什么要用 selenium 来爬取?
  2. 如何分析网页?如何定位元素?(Xpath、CSS 选择器等等)
  3. 如何通过 selenium 来模拟人为操作浏览器(鼠标移动、点击、滑动窗口等等)

我们先来看下如果要通过关键词搜索文献,该怎么操作?

知网:中国知网 (cnki.net)

结合前面的需求分析,我们就可以对网页进行分析并定位出对应的元素

首先是【高级搜索】,高级搜索有一个链接:高级检索-中国知网 (cnki.net),这样就能省掉一个步骤了

 
 

最新文章
2025年前五:清远港澳台联考学校(成绩提升快不快)
2025年前五:清远港澳台联考学校(成绩提升快不快)清远港澳台联考学校在2025年前五名中,凭借其独特的教学方法和严谨的管理,学生成绩提升迅速。学校注重个性化辅导,因材施教,使学生在短时间内实现学业飞跃。  清远港澳台联考学校是为
Apex时间模式结束时间揭晓:游戏战斗节奏即将回归正常
在电子游戏的浩瀚星海中,Apex Legends无疑是一颗璀璨的明星。其独特的战术竞技模式丰富的角色设定以及紧张刺激的战斗体验,都让玩家们为之疯狂。在这款游戏中,最为引人注目的莫过于那令人心潮澎湃的时间模式。如今,当这一模式即将结束,
2024年7月份安兔兔安卓手机好评榜:荣耀Magic V2 97.44%好评获第一
好评榜数据来自安兔兔评测APP内,用户对于自己手机的评价,和跑分无关,收集时间为2024年7月1日至7月31日,仅限国内市场。第一名:荣耀Magic V2好评率:97.44%七月,荣耀Magic V2以97.44%的好评率拿下Android好评榜的榜首。作为一款大折叠
ChatGPT全球宕机 苹果iOS18.2 Siri集成功能受牵连
12月12日消息,今天上午,不少网友在社交平台反映,ChatGPT服务出现了问题,无法正常使用。昨天晚上还能正常使用的服务,在一夜之间变得不可访问。一些尝试使用Siri查询ChatGPT的用户也遇到了同样的问题,表明可能是服务器端的问题导致了这
ai写论文工具
以下是一些AI写论文工具:1. **锐智AI**:是集论文大纲生成、内容填充、文献引用、查重修改于一体的全方位论文写作平台,可一键高效完成论文写作并自动查重。提供免费的大纲生成功能,支持自动生成高达4w字的各类论文,如毕业论文、课题论
2024年阿里云双十二大促活动最后几天,云服务器特价抢购!
​​2024年阿里云双十二大促活动最后几天,云服务器特价抢购!2024年阿里云大促最后几天,云产品每年都涨价,错过优惠不再有!2024年末阿里云大促活动,服务器多少钱一年?2024年末阿里云服务器租用费用价格:阿里云ECS云服务器e系列2核2G
2024年幼儿园教师工作计划模板(14篇)
时间流逝得如此之快,我们的又迈入新的阶段,请一起努力,写一份吧。怎样写才更能起到其作用呢?应该制定呢?下面是小编整理的今后的,欢迎阅读分享,希望对大家有所帮助。本册教材共编排了八个单元。每个单元包括导读、课文、语文百花园三
2、高级实验设计—古典回归设计(Classic Regessional Design).ppt
[实例分析2] 我国西北某农垦区,肥力水平较低,有机质含量为0.81%,速效磷含量5.7 mg/kg P,交换性钾含量120 mg/kg K,欲建立一个肥料长期定位试验,为垦区土壤的培肥和综合开发利用及基础理论研究提供依据。 设9个处理,重复3次,小区面积
2024模拟经营游戏热度排行榜 十大热门模拟经营游戏盘点
在2024年,模拟经营游戏在Steam平台上十分的受欢迎,以下是一些备受玩家推崇的热门游戏,它们覆盖了包括农业管理、城市规划、商业发展在内的多个经营领域,这些游戏以其深度的策略玩法和丰富的经营内容,吸引了广泛的玩家群体,每一位玩家
ChatGPT引领,国内AI大模型产品发布传播热度指数榜
ChatGPT发布以来,AI大模型竞赛逐步进入白热化阶段,国内外科技巨头纷纷布局。根据苗建信息大数据平台监测显示,今年2月份以来国内正式宣布布局或发布大模型产品的企业超过30家。『舆众不同』第35期作者丨苗建研究院01ChatGPT掀起新一轮AI
相关文章
推荐文章
发表评论
0评