最近笔者在学习移动端App爬虫,目前看来是京东比较好爬的,有些APP不给过验代理证书,今天就写一篇文章进行一下总结
windows上无法使用mitmproxy,我们用mitmdump,mitmdump的强大之处就在于他能执行python文件,接下来我们就编写一个python脚本来抓取京东的商品评论
然后继续看
它的评论首先是放在commentInfo里的commentData
但有些评论并没有,所以我们要有一定的措施来应对这种情况
同时我们抓取一下日期,观察上图发现是放在commentInfo里的commentDate