iMonkey0222 / python-spider

Some small spider projects.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

python-spider

本系列代码包含各个爬虫项目小实战,如:

  • Requests+正则表达式爬取猫眼电影
  • 使用Selenium模拟浏览器抓取淘宝商品美食信息
  • 使用Redis+Flask维护动态代理池
  • ...

开发环境如下

采用pipenv方式管理开发环境

安装环境步骤如下:

下载Pipfile文件,在其所在目录运行以下命令:

# step1:创建python3.6的环境
pipenv --python 3.6

# step2:创建pipenv环境
pipenv shell

# step3:安装Pipfile文件中依赖的包
pipenv install

About

Some small spider projects.


Languages

Language:Python 100.0%