lckinggis / python_spider_jobs

python写的爬虫,爬取51job前程无忧、智联招聘的大城市(北京、上海、深圳、广州、杭州、成都、武汉、长沙、珠海)各种编程岗位的职位数。

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

python_spider_jobs

已经在python3.4、python3.5、python3.6测试通过 , 技术栈:urllib+BeautifulSoup4+SQLite,用到的py库:beautifulsoup4、configparser,以后增加图表显示的功能
python写的爬虫,爬取51job前程无忧、智联招聘的大城市(北京、上海、深圳、广州、杭州、成都、武汉、长沙、珠海)各种编程语言职位的总条数。
目前的岗位有:人工智能, 大数据, java, 前端, Android, iOS, python, php, go语言、node.js、区块链、c++、c#、产品经理。
爬取后分别保存到sqlite数据库与txt文本文件中。sqlite数据库一天只保存一次。但jobs.txt一天可以写入多次爬取的记录。

About

python写的爬虫,爬取51job前程无忧、智联招聘的大城市(北京、上海、深圳、广州、杭州、成都、武汉、长沙、珠海)各种编程岗位的职位数。

License:Apache License 2.0


Languages

Language:Python 99.6%Language:Shell 0.4%