inoue0124 / tabelog-scraping

serverless architecture使ってIaC化したスクレイピング基盤。Lambda, DynamoDB, SQS, API gateway, S3を使っている。

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

食べログスクレイピング

Architecture

architecture

Requirement

  • python 3.x
  • serverless framework (開発時のバージョンは以下)
$serverless --version
Framework Core: 2.47.0
Plugin: 5.4.0
SDK: 4.2.3
Components: 3.12.0

Deployment

以下を参考にslsコマンドが使える状態にしておく。

https://www.serverless.com/framework/docs/providers/aws/guide/installation/

ルートディレクトリで以下コマンドを実行し、デプロイ。

sls deploy

リソースを削除する場合は以下。

sls remove

For local

以下の手順でAWSやserverless framework全く関係なしでローカル実行できる。

cd local
pip3 install -r ../requirements.txt
python3 main.py ../doc/test.csv

About

serverless architecture使ってIaC化したスクレイピング基盤。Lambda, DynamoDB, SQS, API gateway, S3を使っている。


Languages

Language:Python 100.0%