Fazer com que o comando `sample` copie o arquivo `updated_at.txt` caso ele exista
cuducos opened this issue · comments
Gostaria de contribuir nessa issue, poderia me dar um pouco mais de contexto sobre ela por favor?
Só para saber por onde começar… o que você entende e o que você não entende dessa issue?
Alguns links:
O caso de uso seria mais ou menos o seguinte:
- baixei todos os dados e quero testar o ETL (ou seja,
$ minha-receita transform) mas não quero carregar todos os dados (por exemplo, quero testar se o processo funciona, e não necessariamente criar um banco de dados completo) - para isso, antes o comando
sample - Se faço isso, e executo o
transform -d diretório-que-usei-no-samplevai dar erro pois não existe oupdated_at.txtnodiretório-que-usei-no-sample
É esse erro que o PR que fecha essa issue deve evitar.
No caso de não existir o arquivo updated_at.txt no diretório de origem do sample a app deveria criar um com o valor mockado para ser usado no transform? Ou deve apenas ignorar?
Bela perguinta! Não tinha pesando nisso…
Pensando alto aqui:
- se tem o arquivo, o processo só vai
- se não tem o arquivo, o processo pode só mostrar uma mensagem nos logs
log.Output(2, fmt.Sprintf("updated.txt file not found in %s", dir)) - se não tem, mas a pessoa usou a opção
--mock-updated-at, aí sim ele cria um arquivo com alguma data mockada
O que acha?
Acho uma boa. Para a opção --mock-updated-at a gente poderia permitir a pessoa passar uma data como argumento, caso ela não passe, podemos usar a data do dia atual como valor default, no formato aaaa-mm-dd que é como ele criado no download. O que acha?
Perfeito : )