基于爬虫批量爬取网页美团美食评论、单视频抖音美食评论
基于python的爬虫库,使用了基本的request网页同步请求模块,利用线程池获得全国城市所有美食店的评论url链接,使用异步下载获取评论信息。
基于python爬虫库中selenium模块,使用无头浏览器模拟上网,半人工采集评论,效率较获取美团评论较低。
- 基本网页源代码分析,动态请求分析。
- 分析不同数据链接载荷中细微差异,批量获取并生成。
- 线程池+协程+异步下载
- 无头浏览器获取网页数据并下载
截至2023年8月9日,美团官网目前已经全面整改,商家数据全部被清除,本项目仅供学习参考。