使用Scrapy
爬取必应壁纸的图片,保存相关信息到MySQL
数据库。增量爬取。
最近想换电脑壁纸,但是没有找到好看的,逛知乎看到了(https://bing.ioliu.cn)
,看到是高清图片,挺不错的,但是一张一张下载太慢了就想写个爬虫,一下子全爬下来。爬取完成之后才知道,这个网站本来就是别人从cn.bing.com
爬取的,好吧,二次工作。原作者也有一个项目,还提供了接口。请看这里简介,项目地址。
Scrapy
MySQL
- 简单
- 一天即可完工
- 更改一下
settings.py
和spiders/picture.py
里面的passwd
即可 - 执行
scrapy crawl picture