Objetivo: Disponibilizar uma ferramenta de pipelines usando o Apache Airflow: https://airflow.apache.org/ executando em docker baseando-se no projeto https://github.com/puckel/docker-airflow
As pastas dags/ e source/ serão mapeadas em volumes dentro do container.
Siga a documentação do airflow para entender a UI: https://airflow.apache.org/ui.html teste
Linux:
- Docker
Windows:
- wsl2 (Subsistemas para linux do windows na versão 2)
- Docker (com suporte ao wsl)
Para criar uma imagem local:
make build
Para iniciar o airflow
make start
Para terminar o airflow local:
make stop
Acesse a UI do airflow em
https://localhost:8081
A dag tutorial pode ser vista na documentação do airflow tutorial
A dag callingpython foi desenvolvida pra dar um passo inicial no desenvolvimento de fluxos com tarefas segregadas de suas dags, nela temos um exemplo de python operator e o exemplo de um bashOperator chamando um outro .py e passando parametros, outro ponto dessa dag é que ela funciona de forma dinamica para gerar as tasks o que é uma otima forma de trabalhar com dags.
Obs.: Para um entendimento mais profundo recomendo a leitura da documentação airflow_concepts e dos comentários nas classes.
As dags com task dinamicas são escritas dentro de 1 for para que uma lista alimente os parametros da mesma e processos diferentes sejam executados, para uma explicação mais a fundo consultar Dynamic_tasks
Variaveis do airflow podem ser usadas para passar parametros variados já que um dicionario json é aceito, no exemplo contido nesse repositorio utilizamos para passar uma lista de itens que vão servir pra gerar as tasks dinamicas, para criar uma variavel no airflow seguir o link Variables
Qualquer problema que encontrarem podem abrir uma issue.