ExitPath / AutoHomeSpider_Scrapy

爬取汽车之家的口碑数据，并破解前端js反爬虫措施分析

[toc]

AutoHomeSpider_Scrapy

1需求分析

因项目需求，要爬取汽车之家的口碑数据进行下一步分析。

但是普通的爬虫软件（如八爪鱼、火车头、神箭手）无法爬取评论（该公司采取了反爬虫措施）。

经分析，发现该公司的的反爬虫措施主要是用前端js去替换显示的字体，为一些标签。并且封住鼠标右键导致不好观察源代码。

本文以解决各个问题为顺序。

2 前端js反爬虫措施分析

3 爬虫框架scrapy

3.1 获取所有车型的id

3.2 本爬虫采用scrapy框架分析所需要的评论信息为

4 运行方式：下载后，用pycharm运行main.py文件即可

5 完整项目描述博客：http://blog.csdn.net/u012052268/article/details/72810037