##留学论坛爬虫
这个爬虫，我主要是爬去一个留学论坛，这次爬取的是北美的offer结果版面，他的页面是这样的：
爬虫使用了gevent异步进行，使用mongodb做最后的数据库存储，然后将内容导出成csv文件
爬取下来的数据是：go_america_to_study_data.csv文件，希望大家好好利用好
###usage
安装mongodb：
MacOS:
brew install mongodb
Linux:
Ubuntu/debian:
sudo apt-get install mongodb
CentOS:
sudo yum install mongodb
安装 python包依赖：
pip install -r requirements.txt
然后你去config.py，修改你的开始页面的url和页码，非常简单的配置，还有配置你的mongodb的collection名称
然后执行：
python engine.py
将Mongodb内的数据导出成CSV:
python dbToCsv.py
即可
PS:我用的最低配的阿里云好像跑了一个小时，所以有兴趣的同学可以使用multiprocess进行多进程爬取，主要是我的硬件水平低，没办法
###data analysis
我之后使用R语言对csv文件进行了最简单的处理，发现申请的大学，越好城市的申请的越多，然后本科院校一般也是985，211居多，最后是申请的学位还说ms好申，并且申请专业的前三是化学，经济学，和计算机，可见难度非常大