在爬取很多需要先登陆的网站的时候,第一步是需要模拟浏览器登陆过程,向目标网页(url) post一个含有账户密码以及额外信息的表单,成功登陆操作后,就获取到目标网页的内容。
这里以我本科学校的图书管座位预约系统为例,F12打开浏览器开发者模式的网络界面,可以查看浏览器与服务器之间数据的交互过程。
这里最重要的一个变量就是request库的Session,它可以帮助我们维持一个会话,而且可以自动处理
Cookies,即登陆成功后,可以一直保留登录状态,爬取登陆后的页面。
接下来就是需要在首次访问登录页面时候提取出字段的内容,实现在函数里。
最后注意,这个网站登陆成功后浏览器会自动跳转另一个地址,所以我们真正需要爬取的内容在里。