ynztyl10 / grandnews_crawler

#海贼王吧《Grand News》期刊爬虫

一直喜欢海贼王，常年混迹贴吧找漫画、找分析贴，偶然发现《Grand News》期刊，发现做的真不错，贴吧浏览体验太烂，自己爬了下图片，做个app方便自己浏览

[TOC]

##简介

##依赖

• scrapy 可以通过easy_install scrapy安装
• requests 调用http请求，可以通过easy_install requests安装
• oss2 阿里云oss的python SDK，通过easy install oss2安装

##使用方法

git clone https://github.com/ynztyl10/grandnews_crawler.git
cd grandnews_crawler
scrapy crawl grandnews

上传图片到oss需要设置一下

BUCKET = 'your-bucket'
# Configure Ali-OSS Storage

# access-key-id
ALI_OSS_ACCESS_KEY_ID = 'your-oss-access-key-id'
# access-key
ALI_OSS_ACCESS_KEY_SECRET = 'your-oss-access-key-secret'
# endpoint
ALI_OSS_ENDPOINT = 'http://your-endpoint'

ps.目前还未设计增量抓取的方式