bearkchan / lagou_spider

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

lagou_spider

此为拉钩网站的爬虫项目,项目环境如下:

数据库:Mysql8.0

IDE:Pycharm

Python3.7

使用流程:

  1. Docker创建mysql8.0数据库容器

    docker run \
        -p 3333:3306 \
        -e MYSQL_ROOT_PASSWORD=123456 \
        -e TZ=Asia/Shanghai \
        -v ~/mydocker/mysql8/data:/var/lib/mysql:rw \
        -v ~/mydocker/mysql8/log:/var/log/mysql:rw \
        -v ~/mydocker/mysql8/config/my.cnf:/etc/mysql/my.cnf:rw \
        --name mysql8 \
        --restart=always \
        -d mysql:8.0
  2. 创建数据库lagou

  3. 运行lagou_php_spider/create_laogou_tables.py创建数据表

  4. 运行lagou_php_spider/handle_insert_data.py爬取数据存放到数据库中

  5. 运行lagou_data_analysis/run.py构建flask服务器,运行

  6. 浏览器输入http://0.0.0.0:12345/lagou/打开页面

About


Languages

Language:JavaScript 59.8%Language:Python 21.8%Language:HTML 13.1%Language:CSS 5.2%