yhongm / lgcrawl

python+scrapy+splash 爬取拉勾全站职位信息

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

scrapy+splash 爬取拉勾全站职位信息

使用方法:

  1. 首先根据对应系统平台安装docker
  2. sudo docker pull scrapinghub/splash 安装splash
  3. sudo docker run -p 8050:8050 -p 8051:8051 scrapinghug/splash 启动splash
  4. cd 到爬虫目录下,执行scrapy crawl lgcrawl -o jobs_all.csv 命令启动爬虫

本项目代码尽供学习使用

About

python+scrapy+splash 爬取拉勾全站职位信息

License:Apache License 2.0


Languages

Language:Python 100.0%