通过命令行脚本快速下载地区信息
首先你得确认你已经安装了python3
,然后我们运行如下命令来安装依赖。
python3 -m pip install -r requirements.txt
我们通过如下命令查看部分可用参数。
配置config.py
mongo_uri = '...'
python3 main.py --help
-a, --run_all BOOLEAN 整站爬取
-m, --more_details 获取详情
--help Show this message and exit.
开启celery
,将结果存至mongodb
celery -B -A task worker -l info
开始爬行,包含详情
python3 main.py -m
This project is MIT licensed.