DashYang / BrotherEye

兄弟眼,多种基于scrapy的爬虫

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

BrotherEye

爬虫均采用scrapy编写,需要安装相应的python库

###justice_league

简单的百度贴吧图片爬虫,将图片根据附近的文字打上tag

###weibo

新浪微博爬虫,通过selenium模拟登陆获取cookie后获得微博信息

###tiebacrawler

百度贴吧爬虫,可以根据指定的贴吧名字抓取贴吧的所有内容

###fetchuser

百度用户信息爬虫,可以根据用户名称,(保存在BrotherEye/tutorial下的userlist)抓取其发帖记录等贴吧相关信息

About

兄弟眼,多种基于scrapy的爬虫


Languages

Language:Python 100.0%