0x24bin / Tianyancha

scrapy 爬取天眼查网站的 公司注册信息

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

tianyancha

天眼查--爬取天眼查网站公司注册信息

帮女朋友减少点工作量 ^_^

按关键字搜索相关公司信息,爬取详情页公司注册信息、联系方式等

生成csv文件

该网站详情页做了防爬措施,json接口无法直接请求。

目前加了delay, 以及自定义middleware处理user-agent, 代理IP。

About

scrapy 爬取天眼查网站的 公司注册信息


Languages

Language:Python 100.0%