本文主要介绍了Python爬虫入门之爬虫解析提取数据的四种方法，通过具体的内容向大家展现，希望对大家Python爬虫的学习有所帮助。
基础爬虫的固定模式
笔者这里所谈的基础爬虫，指的是不需要处理像异步加载、验证码、代理等高阶爬虫技术的爬虫方法。一般而言，基础爬虫的两大请求库urllib和requests中requests通常为大多数人所钟爱，当然urllib也功能齐全。两大解析库BeautifulSoup因其强大的HTML文档解析功能而备受青睐，另一款解析库lxml在搭配xpath表达式的基础上也效率提高。就基础爬虫来说，两大请求库和两大解析库的组合方式可以依个人偏好来选择。
笔者喜欢用的爬虫组合工具是：
· requests+BeautifulSoup
· requests+lxml
同一网页爬虫的四种实现方式
笔者以腾讯新闻首页的新闻信息抓取为例。
可以目标信息存在于em标签下a标签内的文本和href属性中。可直接利用requests库构造请求，并用BeautifulSoup或者lxml进行解析。
· 方式一：requests+BeautifulSoup+select css选择器
#select method import requests from bs4 import BeautifulSoup
headers = {‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36’}
url = ‘’ Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode(“utf-8”), ‘lxml’)
em = Soup.select(‘em[class=“f14 l24”] a’) for i in em:
title = i.get_text()
link = i[‘href’]
print({‘标题’: title,
‘链接’: link
})
#find_all method import requests from bs4 import BeautifulSoup
headers = {‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36’}
url = ‘’ Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode(“utf-8”), ‘lxml’)
em = Soup.find_all(‘em’, attrs={‘class’: ‘f14 l24’})for i in em:
title = i.a.get_text()
link = i.a[‘href’]
print({‘标题’: title, ‘链接’: link
})
方式三：requests+lxml/etree+xpath表达式
#lxml/etree method import requests from lxml import etree
headers = { ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36’}
url = ‘’ html = requests.get(url = url, headers = headers)
con = etree.HTML(html.text)
title = con.xpath(‘//em[@class=“f14 l24”]/a/text()’)
link = con.xpath(‘//em[@class=“f14 l24”]/a/@href’) for i in zip(title, link):
print({‘标题’: i[0],
‘链接’: i[1]
})
方式四：requests+lxml/html/fromstring+xpath表达式
lxml/html/fromstring method import requests import lxml.html as HTML
headers = {‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36’}
url = ‘’ con = HTML.fromstring(requests.get(url = url, headers = headers).text)
title = con.xpath(‘//em[@class=“f14 l24”]/a/text()’)
link = con.xpath(‘//em[@class=“f14 l24”]/a/@href’) for i in zip(title, link):
print({‘标题’: i[0],‘链接’: i[1]
})
爬取网页数据用正则表达式的话，可以直接从网页源代码文本中匹配，但出错率较高，且熟悉正则表达式的使用也比较难，需要经常翻阅文档。
实际爬取数据大多基于 HTML 结构的 Web 页面，网页节点较多，各种层级关系。可以考虑使用 Xpath 解析器、BeautifulSoup解析器、PyQuery CSS解析器抽取结构化数据，使用正则表达式抽取非结构化数据。
Xpath：可在 XML 中查找信息；支持 HTML 的查找 ；通过元素和属性进行导航，查找效率很高。在学习 Selenium 以及 Scrapy 框架中也都会用到。
BeautifulSoup：依赖于 lxml 的解析库，也可以从 HTML 或 XML 文件中提取数据。
PyQuery：Python仿照 jQuery 严格实现，可以直接解析 DOM 节点的结构，并通过 DOM 节点的一些属性快速进行内容提取。
对于爬取网页结构简单的 Web 页面，有些代码是可以复用的，如下所示：
from fake_useragent import UserAgent
随机产生请求头
ua = UserAgent(verify_ssl=False, path=‘fake_useragent.json’)
def random_ua():
headers = {
“Accept-Encoding”: “gzip”,
“User-Agent”: ua.random
}
return headers
伪装请求头，并可以随机切换，封装为函数，便于复用。
def scrape_html(url):
resp = requests.get(url, headers=random_ua())
print(resp.status_code, type(resp.status_code))
print(resp.text)
if resp.status_code == 200:
return resp.text
else:
logging.info(‘请求网页失败’)
请求网页，返回状态码为 200 说明能正常请求，并返回网页源代码文本。
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，Python自动化测试学习等教程。带你从零基础系统性的学好Python！
👉[[CSDN大礼包：《python安装包&全套学习资料》免费分享]]（安全链接，放心点击）