lizhug / meizitu

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

################ introduce #################

catch all images from meizitu.com

################# require ####################

python2.7

easy_install pip
pip install scrapy
pip install service_identity
pip install tornado

################# how to run ################


cd meizitu/spiders
scrapy crawl meizi


################# TO DO ##################

1. user-agent pool
2. ip pool
3. category for images
4. distributed

About


Languages

Language:Python 100.0%