Realizar EL (extração e carga) dos dados para o BigQuery. Após realização da ingestão, utilizar a ferramenta SODA para verificar se ingestão foi feita com qualidade
- Extrair dados do SQL Server local
- Ingerir dados no BigQuery
- Apurar se a ingestão foi feita com qualidade
Você precisa criar as configurações e instalar as dependências do projeto.
-
configuration.yml na pasta tests
-
conf_bigquery.py
-
dependências do projeto no arquivo "requeriments.txt"
https://www.youtube.com/playlist?list=PLbPvnlmz6e_KZPF0VymXIYfbAydybVj5X
@wlcamargo - Desenvolvedor
- Python
- SQL
ChatGPT