L-HeliantHuS / Scrapy-meitulu-spider

爬取整个网站上所有的图片. 白G级别.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Python3.7.3  Scrapy  等其他Scrapy依赖.

默认不只是保存到本地文件, 还保存到了MongoDB, 如果不需要请单独从pipelines.py删除.
项目启动命令 scrapy crawl mtl

最好将项目放到一个非C盘的位置, 默认保存到项目文件夹内的images文件夹内,如果没有则自动创建.

About

爬取整个网站上所有的图片. 白G级别.


Languages

Language:Python 100.0%