最后
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化学习资料的朋友，可以戳这里获取
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
import requests
import re
import time
2.第二步写出大体框架：
这里我们还是采用面向对象来写，因为这样后期如果要改为多线程还是挺容易的。
class MySpider(object):
def init(self):
#显然我们需要最基础的headers信息
self.headers = {
‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36’,
}
#其次我们需要url
self.url = ‘http://www.bbsnet.com/doutu’
def run(self):
#首先我们需要一个函数获取每一个url
target_urls = self.get_target_urls()
#其次我们需要去获取每一个url里面的图片
self.get_target_images(target_urls)
def get_target_urls(self):
‘’‘这里我们使用一个东西，比如列表等来存储url的结果并返回’‘’
pass
def get_target_images(self,target_urls):
‘’‘这里我们需要接收之前获取的url，所以需要一个参数’‘’
pass
if name == ‘main’:
spider = MySpider()
spider.run()
显然上面的代码跟我们的思路一模一样，是不是so easy。
3.第三步完成第一个函数 – get_target_urls()：
首先按照惯例，写下以下代码：
response = requests.get(self.url,headers=self.headers)
print(response.content.decode(‘utf-8’))
首先，分享下为什么有的时候我们对于文本要decode(‘utf-8’)，而有时候对于文本需要decode(‘gbk’)，这是根据网页源代码的编码形式来写的，比如这个网站的源代码如下：
但是，尝试运行了下，发现以下错误：
UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘ ’ in position 424: illegal multibyte sequence
这个意思是说，这个网页存在一些字符是utf-8无法解码的，这是很正常的，毕竟有些神奇的字符，是utf-8无法表示的。
但是，大家不必紧张，这并不影响我们写代码。于是我们就这样吧，不解码了，直接以二进制的形式存储它，因为它并不影响我们去获取我们需要的链接。
于是写下这样代码：
response = requests.get(self.url,headers=self.headers)
text = response.content
好的，下面我们开始解析网页：
可以得到以下结果：
下面我们使用xpath来解析这个html代码，我们首先如上图定位a标签，显然这个a标签在h2标签里面，且这个h2标签里面只有这么一个a标签，所以十分容易获取，代码如下：
html = etree.HTML(text)
target_urls = html.xpath(‘//h2/a/@href’)
print(target_urls)
下面是尝试打印的结果（部分）：
[‘http://www.bbsnet.com/aoteman.html’, ‘http://www.bbsnet.com/jieqian.html’, ‘http://www.bbsnet.com/youxitu.html’, ‘http://www.bbsnet.com/liaotian-3.html’,…]
好的，至此，这个函数就完成了，是不是十分简单。该函数代码如下：
def get_target_urls(self):
response = requests.get(self.url,headers=self.headers)
text = response.content
html = etree.HTML(text)
target_urls = html.xpath(‘//h2/a/@href’)
return target_urls
4.第四步完成第二个函数 --get_target_images():
老套路，写下下面的代码：
for url in target_urls:
response = requests.get(url,headers=self.headers)
text = response.content.decode(‘utf-8’)
print(text)
#这里强烈建议加上break测试
break
for url in target_urls:
response = requests.get(url,headers=self.headers)
response = requests.get(url,headers=self.headers)
text = response.content
#这里同上面，不解码，直接解析，原因同上
print(text)
break
结果如下（部分结果）：
b’ …
好的，解决了这个大麻烦，我们下面的工作就很简单了。
可以得到以下内容：
我们需要获取img标签里面的src属性，仅需获取div标签下的p标签下的img标签即可。下面是代码：
for url in target_urls:
response = requests.get(url,headers=self.headers)
time.sleep(2) #一定要加上，不然会访问太快会被禁止的
response = requests.get(url,headers=self.headers)
text = response.content
#开始解析
html = etree.HTML(text)
target_images = html.xpath(‘//div[@id=“post_content”]//p//img/@src’)
print(target_images)
break
部分结果如下：
[‘http://wx1.sinaimg.cn/mw690/6a04b428ly1g19akwia0rg209b09qwgf.gif’, ‘http://wx1.sinaimg.cn/mw690/6a04b428ly1g19al1td90g209q08sq4i.gif’,…]
好的，我们仅仅剩最后一步，下载图片，这里我给出两者方式：
方式一：使用urllib库里的urlretrieve()函数，代码如下：
#该段代码添加至获得target_images后面
#大家使用这个方法的话，一定要记得导入库：from urllib import request
for image_url in target_images:
request.urlretrieve(image_url,‘https://blog.csdn.net/2401_84138890/article/details/info/test.gif’)
break
方式二：获取链接的源代码后保存至本地，代码如下：
#该段代码添加至获得target_images后面
for image_url in target_images:
response = requests.get(image_url,headers=self.headers)
f = open(‘https://blog.csdn.net/2401_84138890/article/details/info/test.gif’,‘wb’)
f.write(response.content)
f.close()
break
两者的结果都如下：
ok，到此处，恭喜大家，已经完成了99%的任务了。下面就是完善和补充一些代码了。
此函数完整代码如下：
def get_target_images(self,target_urls):
for url in target_urls:
response = requests.get(url,headers=self.headers)
time.sleep(2)
response = requests.get(url,headers=self.headers)
text = response.content
html = etree.HTML(text)
target_images =html.xpath(‘//div[@id=“post_content”]//p//img/@src’)
for image_url in target_images:
request.urlretrieve(image_url,‘https://blog.csdn.net/2401_84138890/article/details/info/test.gif’)
break
break
#建议大家测试的时候，加上break，如果有基础的可以考虑代理或者多线程
5.第五步优化与完善：
一个优秀的人，总是想写出点优秀的代码，所以优化必不可少
1.优化角度一：文件存储的优化：
首先，上面我在这个py文件下面创建了一个info文件夹，所以才能写"https://blog.csdn.net/2401_84138890/article/details/info/…"这样的代码，但是我相信大家的目录下肯定没有。所以必须优化。
其次，我们可以这样考虑：使用os模块自动创建一个images的文件夹，其次可以在获取图片集合的url时顺便获取每个图片集合的标题，所以开始改写代码：
修改完成后如下（只需修改第二个函数）：
def get_target_images(self,target_urls):
os.mkdir(‘https://blog.csdn.net/2401_84138890/article/details/images’)
for url in target_urls:
response = requests.get(url,headers=self.headers)
time.sleep(2)
response = requests.get(url,headers=self.headers)
text = response.content
html = etree.HTML(text)
target_images = html.xpath(‘//div[@id=“post_content”]//p//img/@src’)
title = html.xpath(‘//div[@id=“post_content”]//p//img/@title’)[0]
os.mkdir(‘https://blog.csdn.net/2401_84138890/article/details/images/’+title)
for index,image_url in enumerate(target_images):
response = requests.get(image_url, headers=self.headers)
#这里我是用文件方式下载，因为不知道为什么我运行urlretrieve下载时下太久了
f = open(‘https://blog.csdn.net/2401_84138890/article/details/images/%s/%s.gif’%(title,index), ‘wb’)
f.write(response.content)
感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：
① 2000多本Python电子书（主流和经典的书籍应该都有了）
② Python标准库资料（最全中文版）
③ 项目源码（四五十个有趣且经典的练手项目及源码）
④ Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）
⑤ Python学习路线图（告别不入流的学习）
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化学习资料的朋友，可以戳这里获取