Navitimeのスポット情報をスクレイピングする。Python 2.7前提。
virtualenvの利用を前提としているが、必須ではない。気にならないならinstallから初めても良い。
pip install virtualenv
virtualenv venv
source venv/bin/activate
pip install -r requirements.txt
また、依存先を増やした場合は次のコマンドで永続化する。
pip freeze > requirements.txt
# 47都道府県各最大50ページのデータを取得
python NavitimeSpotAddressScraperMain.py --output var/spot_address.tsv --type tsv --pref 47 --page 50
# pickle(Pythonオブジェクト)に保存したデータから変換処理を行う
python NavitimeSpotAddressScraperMain.py --input var/spot_address.pickle --output var/spot_address.tsv --type tsv --skip