[sync_kernel_to_website] Não é possível acessar as tarefas de execuções anteriores da SubDag sync_kernel_to_website.register_documents_groups_id

[Paty Morimoto]

Descrição do problema

Não é possível acessar as tarefas de SubDags de execuções anteriores de uma DAGs. Quando executa-se o Zoom na SubDags de execuções anteriores, são exibidos sempre as tarefas da última execução. Seguir os passos para visualizar o problema.

Passos para reproduzir o problema

1. Acesse a DAG sync_kernel_to_website na instância de produção do Airflow
2. Clique na última execução da subdag register_documents_groups_id e pressione o botão Zoom into Sub DAG
3. Observe os nomes das tarefas da Sub DAG
4. Acesse novamente a DAG sync_kernel_to_website e clique na penúltima execução da subdag register_documents_groups_id. Pressione o botão Zoom into Sub DAG para visualizar as tarefas
5. Observe que os nomes das tarefas da Sub DAG são os mesmos da última execução da Sub DAG, ao invés de exibir as tarefas da penúltima execução da DAG

Comportamento esperado

É esperado que seja possível acessar a execução de tarefas de execuções passadas. Assim, será possível reexecutá-las quando necessário.

Screenshots ou vídeos

.

Anexos

.

Ambiente utilizado

Este problema foi identificado no ambiente de produção do SPF.

[Paty Morimoto]

Em um teste, criei tarefas dinamicamente usando nome composto por uma raíz igual e uma sequencia, conforme imagem abaixo:

Dessa forma, é possível manter o histórico das execuções parcialmente. No teste, a primeira execução criou 3 tarefas, na segunda 4 e na terceira 3. Perceba que na interface WEB do Airflow a quarta tarefa da segunda execução não aparece e, assim, não é possível reexecutar somente esta.

[Paty Morimoto]

Acredito que neste momento, pelo fato da migração estar finalizando e a DAG funcionaria bem no fluxo de ingestão direta, a melhor solução seria reverter a alteração e não utilizar subdags para as tarefas de sincronização.