s045pd / lianjia

链家爬取器

Lianjia Downloader 👋

通过命令行脚本快速下载地区信息

安装

首先你得确认你已经安装了python3,然后我们运行如下命令来安装依赖。

python3 -m pip install -r requirements.txt

用法

我们通过如下命令查看部分可用参数。

配置config.py

mongo_uri = '...'

python3 main.py --help

  -a, --run_all BOOLEAN  整站爬取
  -m, --more_details     获取详情
  --help                 Show this message and exit.

开启celery，将结果存至mongodb

celery -B -A task worker -l info

开始爬行,包含详情

python3 main.py -m

📝 License

This project is MIT licensed.

---