Wendie Wendie是一个百度网盘文件爬虫系统,提供后台配置以及搜索界面。支持有提取码和无提取码的链接爬取,根据相应链接爬取对应的目录树进行存储,搜索模块可以搜索爬取到的文件信息,同时可以进行简单的后台配置。 Wendie使用Redis作为中间件,采用Scrapy分布式爬虫框架,结果存储在ElasticSearch中,可以方便地部署和进行二次开发。 项目未完成,待续