scrapy-redis
There are 6 repositories under scrapy-redis topic.
zhangslob / awesome_crawl
腾讯新闻、知乎话题、微博粉丝，Tumblr爬虫、斗鱼弹幕、妹子图爬虫、分布式设计等
Language:Python 283- Language:Python 129
stormstone / SpiderSSS
🪲 一些爬虫的学习笔记资料。必应图片下载爬虫、豆瓣读书爬虫、 当当图书爬虫、网易云用户信息爬虫、GitHub用户信息爬虫、 Twitter用户图片下载等等。
Language:Jupyter Notebook 73ConlinH / aio-scrapy
Implement scrapy with asyncio
Language:Python 50crawlaio / scrapy-redis-sentinel
scrapy-redis-sentinel 基于 scrapy-redis 的基础上 新增 哨兵（sentinel）连接模式 以及 集群（cluster）连接模式。
Language:Python 31- Language:HTML 28
yangge11 / scrapy_pro
关于5000+站点的scrapy爬虫开发，涉及一些技术架构搭建以及各种反爬方案，详见readme文件
Language:Python 28msft-vivi / JobNews-ElasticSearch-Scrapy_redis
项目整体分为scrapy-redis分布式爬虫爬取数据、基于ElasticSearch数据检索和前端界面展示三大模块。做此项目是为了熟悉scrapy-redis的基本流程，以及其背后的原理，同时熟悉ElasticSearch的使用。本项目可以作为一个基于ES存储的简单但是相对全面的全栈开发的Demo。项目中所采用的组件均在win10本地环境搭建（伪分布），旨在演示项目流程。你可以参考该项目，并将其扩展到多个主机上，实现分布式ES以及分布式Scrapy。
Language:CSS 23leffss / ScrapyRedisBloomFilterBlockCluster
Scrapy Redis with Bloom Filter，support redis sentinel and cluster
Language:Python 22- Language:HTML 19
ayueaa / Some-Spiders
Python3爬虫Scrapy实战练习：Boss直聘、bilibili弹幕、链家二手房在售已售、知乎、拉钩...
Language:Julia 10nciefeiniu / totalstsation_scrapy
基于scrapy-redis scrapy-splash的通用爬虫（包括ajax请求的数据）
Language:Python 8cnyangkui / distributed-crawler
第六届中软杯赛题 - 分布式爬虫系统（经纬度团队作品）
Language:Roff 7- Language:Python 7
Harhao / duSheCommunity
利用Fiddler抓包分析毒舌影评社区的APP api接口。单机版的scrapy爬虫，基于scrapy-redis
Language:Python 7Danceiny / parser_engine
A parser engine born for scrapy
Language:Python 5KertinH / SearchForProgrammer_spiders
SearchForProgrammer（爬虫模块）
Language:Python 5- Language:Python 5
- Language:Python 4
- Language:Python 3
- Language:Python 2
fank-cd / dangdang_spider
爬取当当网的图书条目，使用Scrapy-Redis/MongoDB实现的一个分布式网络爬虫,底层存储MongoDB,分布式使用scrapy-Redis实现
Language:Python 2- Language:Python 2
- Language:Python 1
- Language:Python 1
- Language:Python 1
- Language:Python 1
louremipsum / Virgil
A minimal search engine implementation
Language:Python 1- Language:Python 1
QiliWu / bilibili_spider
requests, scrapy, scrapy-redis三种方法实现bilibili用户信息爬虫
Language:Python 1- Language:Python 1
- Language:Python 1
- Language:HTML 1
zhu733756 / Itchat-DBMovieComments
scrapy crawl douban.py
Language:Python 1- Language:Python 0
