Ao0o / JobTrendAnalysis

需求：

爬取各城市某个职位招聘岗位的数量、薪资、技能要求、岗位要求、岗位职责、工作地点分析职业发展趋势

• 从招聘网站爬取就业信息。爬取各城市特定职业招聘的数量、薪资、技能要求、岗位要求、岗位职责、工作地点、福利。并存储于MySQL数据库中。
• 对爬取的数据进行数据分析

技术栈

• Scrapy框架爬虫
• MySQL存储
• Redis实现分布式爬虫

概要设计

数据挖掘

使用scrapy爬虫框架爬取数据

• 搭建爬虫框架

  • 配置setting文件

• Item定义

  定义需要爬取的数据

  • 岗位名称
  • 薪资
  • 福利
  • 工作地点
  • 工作经验
  • 学历
  • 招聘人数
  • 发布时间
  • 岗位职责
  • 任职要求(岗位要求)
  • 技能要求
  • 详细工作地址

• 网页解析

  解析网页获取所需Item

• 数据清洗和存储

  • MySQL连接、写入数据

• Redis

数据分析