distribute_crawler 使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现 更新代码，使其运行环境为： python3 mongoDB 2.4.9 redis 2.8.17