网络爬虫---用scrapy框架爬取腾讯新闻实战

一、知识要求

• 掌握python基础语法
• 异常处理
• 会建立和简单使用scrapy框架
• 会抓包分析

二、爬取腾讯新闻实战

1.通过分析获取存放每个新闻链接的网址

2.创建数据库来存放爬取的新闻标题和链接

3.创建并编写一个爬取爬取腾讯新闻的scrapy项目

②tx.py文件：

③pipelines.py文件：

4.运行项目