DevXXM / fang

链家爬虫

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

fang

链家爬虫 python版本>3.5

先输入: git clone https://github.com/DevXXM/fang.git

然后 cd fang

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

等待安装成功之后 把fang.sql文件导入到mysql 去settings.py配置好mysql

然后改一下spiders/lianjia.py 把city改为自己要爬的城市,urls里面的链接改为自己要爬城市的链家地址

比如重庆:https://cq.lianjia.com/xiaoqu 武汉:https://wh.lianjia.com/xiaoqu 深圳:https://sz.lianjia.com/xiaoqu

最后输入命令:scrapy crawl lianjia 即可启动

About

链家爬虫


Languages

Language:Python 84.1%Language:TSQL 15.9%