分享好友 最新动态首页 最新动态分类 切换频道
2024年Python爬虫教程:解析网页中的元素_copy selector,2024年最新2024春招面试
2024-12-27 01:42

感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的

① 2000多本Python电子书(主流和经典的书籍应该都有了

② Python标准库资料(最全中文版

③ 项目源码(四五十个有趣且经典的练手项目及源码

④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习

⑤ Python学习路线图(告别不入流的学习

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导,让我们一起学习成长

一、基本步骤

在我们理解了网页中标签是如何嵌套,以及网页的构成之后,我们就是可以开始学习使用python中的第三方库BeautifulSoup筛选出一个网页中我们想要得到的数据。

接下来我们了解一下爬取网页信息的步骤。

想要获得我们所需的数据分三步

第一步:使用BeautifulSoup解析网页

Soup = BeautifulSoup(html,‘lxml’)

第二步:描述想要爬去信息的东西在哪里。

信息 = Soup.select(‘???’)

要知道它叫什么名字,如何去定位。

第三步:从标签中获得你想要的信息

Something

从标签中获取我们需要的信息,去掉一些没有用的结构,并且把我们获取的信息按照一定格式装在数据容器中,方便我们去查询。

二、两种路径获得方式详解

接下来,我们首先进行第一步,如何使用BeautifulSoup解析网页

Soup = BeautifulSoup(html,‘lxml’)

实际上我们构造一个解析文件需要一个网页文件和解析查询库。就好比左边的Soup是汤,html是汤料,而lxml是食谱。

今天我们需要讲的BeautifulSoup,通过我们告诉它元素的具体的位置,就可以向他指定我们想要爬去的信息。

找到相应的元素右键检查的,看到元素的代码信息进行右击,我们有两种方式获得标签的位置的具体描述方式

1.使用copy selector

2.使用copy XPath

这两种复制的路径有什么区别,接下来就让大家看一下

右键标签copy selector复制出来的路径

body > div.body-wrapper > div.content-wrapper > div > div.main-content > div:nth-child(15) > a

右键标签copy XPath复制出来的路径

/html/body/div[4]/div[2]/div/div[2]/div[14]/a

这两种不同的路径描述方式,使用copy selector复制出来的路径叫做 CSS Selector,使用copy XPath复制出来的叫做XPath。

这两种路径的描述方式在今后的学习中我们都可以用的到,但是我们今天要学习的BeautifulSoup它只认第一种,就是CSS Selector。

但是为了方便我们以后的学习,更好认识网页间不同元素的结构,我们先讲一下XPath,在学习了它之后,CSS Selector也会更好的理解,同时日后我们需要学习的一些库也需要用到XPath去描述一些元素的位置。

对XPath和

XPath

1.什么是XPath

Xpath使用路径表达式在XML文档中进行导航,解析到路径跟踪到的XML元素。

2.XPath路径表达式

路径表达式是xpath的传入参数,xpath使用路径表达式对XML文档中的节点(或者多个节点)进行定位。

路径表达式类似这种:/html/body/div[4]/div[2]/div/div[2]/div[14]/a 或者 /html/body/div[@class=”content”] ,其中第二个路径中的[@class=”content”] 是为了在多个相同标签中定位到一个标签。

刚才拿到的那个XPath的路径 /html/body/div[4]/div[2]/div/div[2]/div[14]/a,就针对于这一串来讲,拿到的这个元素的完整路径,叫做绝对路径,其中每个‘/’就是一个节点,下面我们通过这个结构图我们可以简单了解一下。

如果你也是看准了Python,想自学Python,在这里为大家准备了丰厚的免费学习大礼包,带大家一起学习,给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间,但是打下坚实的基础只要几周就可以,如果你按照我提供的学习路线以及资料有意识地去实践,你就有很大可能成功
最后祝你好运

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

最新文章
从零开始的AI自动生成绘画软件系统开发指南
“在这个信息爆炸的时代,为什么有些创作者能用AI生成绘画软件迅速吸引眼球,而另一些却只能默默无闻?难道是因为他们掌握了什么秘密?还是因为他们的工具比别人的更强大?”随着科技的飞速发展,AI自动生成绘画软件正逐渐成为艺术创作的热
python 爬虫代码实例
什么是爬虫? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名
ubuntu18.04美化主题(完整版)
{  转载自 https://www.cnblogs.com/batty/}和网上的美化一样,但是我当初跟着博客美化的时候遇到一些问题,按博客的做法无法解决。所以我自己也写一篇关于ubuntu18.04美化主题的博客。第一步:安装主题工具:GNOME Tweaks然后安装完成后
龙BT最新技术革新及其影响力展望
摘要:最新的龙BT技术革新在科技领域引起了广泛关注。这一技术突破带来了更高效、更便捷的应用体验,推动了相关行业的快速发展。其影响不仅体现在提升了工作效率,更在相关领域内催生了新的商业模式和竞争格局。这项技术的革新对于推动社会
线上推广引流的方法_线上推广获客
∩^∩ ...小程序用户达160万人,2023年计划组织超40场线上线下营销推广活动相关营销能力也成为了拓展引流必不可少的手段。公司是否有相应的发展计划,来推动自身旅游业务发展?公司回答表示:公司积极拓宽线上营销后面会介绍。 住宿业平台
龙岩SEO网络营销,企业互联网腾飞的关键动力
龙岩SEO网络营销,作为企业互联网发展的新引擎,通过优化搜索引擎排名,提升企业品牌影响力,助力企业实现线上腾飞。随着互联网的飞速发展,网络营销已经成为企业提升品牌知名度、拓展市场份额的重要手段,龙岩作为福建省的一个地级市,拥
首次!文明大冶跻身百强榜!
喜荆楚网(湖北日报网)楚天舆情数据研究院制作的湖北区县微信排行榜2024年11月榜单出炉“文明大冶”微信公众号首次跻身全省TOP100榜排行榜规则说明1、聚集湖北省内主要党政机关政务微信公众号,根据WCI指数数据进行科学排行,主要从“整体
骗了人:深世智能APP是做任务刷单软件!被骗无法提现不了
深世智能APP是做任务刷单软件!被骗无法提现不了帮助出嘿葳《8224205》希望阅读此文的读者能够及时采取措施以减少损失;请及时与团队联系提供解决方案(文章下面图片有咨询方式)若想追回损失资产,务必仔细阅读以下内容。【GFRGRHFDHS】202
重磅揭秘“滴滴抢预约单神器软件”爆光开挂猫腻详情
滴滴抢预约单神器软件是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有需要的用户可以加我微下载使用。抢单可以一键让你轻松成为“必赢”。其操作方式十分简单,打开这个应用便可以自定义抢单系统规律,只需要输入自己想要
百度排名优化软件
百度排名优化软件:提升网站在百度搜索结果中的排名随着互联网的快速发展,越来越多的企业和个人都意识到了网络营销的重要性。而在网络营销中,百度排名优化软件成为了提高网站在百度搜索结果中排名的有效工具。本文将为您详细介绍百度排名
相关文章
推荐文章
发表评论
0评