miseyu / luigi-etl

luigi app for own

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

luigi-etl

  • luigiで作ったETL用ツール

使用言語

主要ライブラリ

使用ツール

  • pip

起動方法

ローカル起動

$ python tasks.py MyQuery --local-scheduler

環境変数

  • GCS_TOUCH_VERSION: TOUCHのバージョン
  • STREAM_ID: ストリームモードの場合のID
  • BEAM_WORKER_COUNT: Dataflowのワーカ数

central起動

$ luigid --port 8082

centralに投げる

$ python tasks.py MyQuery

About

luigi app for own


Languages

Language:Python 100.0%