ZOwl / movie-crawler

A toy project.

开发说明

安装依赖

pip install -e .

测试

测试工具

测试工具使用Testify，安装：

pip install testify

运行测试

testify tests

初始化数据库

sqlite3 moviecrawler/scraping.db < misc/data.sql

运行程序

scrapy crawl moviespider -a start='[yyyy-mm-dd]' -a end='[yyyy-mm-dd]'

scrapy crawl moviespider -a start='[yyyy-mm-dd]' -a end='[yyyy-mm-dd] -a only_film'

scrapy crawl moviespider -a start='[yyyy-mm-dd]' -a end='[yyyy-mm-dd] -a get_schedules'

导出电影

sqlite3 -header -csv moviecrawler/scraping.db "select * from films;" > films.csv