xrlin / DoubanPyspider

使用Pyspider框架的豆瓣爬虫

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

DoubanPyspider

使用Pyspider框架的豆瓣爬虫

依赖:

python第三方库:pyspider, pymongo, requests
数据库:mongodb
代理池:IPProxy

Usage

安装mongodb, 使用pip安装pyspider和pymongo,在pyspider新建一个爬虫项目,将movie_spider.py文件的内容拷贝到项目中运行即可。

About

使用Pyspider框架的豆瓣爬虫


Languages

Language:Python 100.0%