文章目录

• 说明：

• 我的配置：
• 目标网站：

• 今天爬虫（手动提取url，发送get请求）

• 1、创建项目+初始化爬虫文件：
• 2、在setting中配置
• 3、修改items.py：
• 4、修改爬虫程序：spiders/scrapyd.py

• ①、scrapy.Request()
• ②、直接上我的代码：

• 5、管道处理（一般都在这里进行数据清洗和数据储存操作）：pipelines.py

• 1、测试spider是什么：
• 2、保存到MongoDB数据库：

• 6、我刚学scrapy对itmes模块的一个疑问：

• 1、我改为item={}
• 2、我改为：item = ScrapydCnItem()
• 3、对比，得出我认为的结论：

今天主要学习一下翻页的功能，手动翻页的效果，前面的基础操作这里不不再依次讲解截图说明了，如果不太懂，可以参考我的上一篇scrapy博客：

http://lab.scrapyd.cn/ 因为这个网站是get，响应的页面就能找到下一页的url，我记得之前测试翻页是用的腾讯招聘网站，但是现在腾讯招聘的页面改成异步获取的json数据了，如果真的爬取，我觉得直接使用requests模块比较方便，如果用scrapy，可以直接把开始的start_urls列表换成一个异步url列表集，我感觉使用scrapy那样爬取多此一举了。

比如这样，url列表集：

不过这样的我不写，这样的和我的第一个博客没有什么区别，只不过初始化的url列表数量多了而已。

生成文件：

这里我们只要三维数据，需要三个字段即可。

①、scrapy.Request()

这个只是和之前比这多了一个翻页功能，这个scrapy.Request()
里面有俩个必须要传递的参数，一个是url,一个是返回的函数，这里的parse是本身的方法中，继续处理数据直至页面结束，可以自己写多个方法，根据项目和网站需要定义方法，和需要的返回方法中。

其中还有几个常用的参数：

scrapy.Request()中几个常用参数解释：

②、直接上我的代码：

1、测试spider是什么：

下面是我测试的方法，之前使用过name属性进行过对不同的数据进行清洗和储存。你也可以自己研究测试。

2、保存到MongoDB数据库：

代码：

打印出的页面显示：

数据MongoDB存入成功：

不知道刚学scrapy时有没有和我一样，有这样一个疑问，爬虫程序中，我不继承items中的ScrapydCnItem类，直接用一个字典代替，其实，我的理解，如果不涉及过的爬虫数据类型保存，是一样的，但是如果涉及过多的类型数据保存，会影响数据的混乱保存。比如进入管道中的，一个程序中，我就有好几种数据分别保存到不同的数据库，这时，继承items中的dict数据进入管道pipelines.py就可以用

isinstance(item,ScrapydCnItem)

返回的是True和False，进行保存自己需要的数据类型，到对应的需求数据库中。

scrapy.Item进入源文件是继承一个dict类：

scrapy.Field() 进入源文件也是继承一个dict

爬虫文件中，我测试发现定义一个字典返回的管道数据中储存，结果和定义的items的类ScrapydCnItem最后进入管道的结果是一样的，但是类型不一样，最后我找到一个可以理解这定义这个items中ScrapydCnItem类dict的原因：

1、我改为item={}

爬虫spider/scrapyd.py中,改为item = {}：

pipelines.py中打印到处item类型，和print(“isinstance”,isinstance(item,ScrapydCnItem))

其中这个ScrapydCnItem类，是items.py中的目标数据字段的类。
from scrapyd_cn.items import ScrapydCnItem

上面的打印结果：

2、我改为：item = ScrapydCnItem()

爬虫spider/scrapyd.py中

pipelines.py中，用来打印出我的疑问

打印出管道中的结果：

3、对比，得出我认为的结论：

通过上面俩个打印出的结论，我也就自己给出了我的疑问答案，那就是，items的文件，在爬虫程序中继承过来的字段类型，看着是字典，但是可以根据这个进行不同的数据类型（根据继续的items中的类来体现），根据isinstance(item,ScrapydCnItem)，ScrapydCnItem要改为你实际需求的数据类名，进行不同数据类型分开保存。

这也就是我自己对这个items中的定义目标数据字段的理解。