Como projeto final do curso de Engenharia de Dados da SoulCode Academy foi nos proposto o tema de "Acidentes Terrestres" onde tivemos o desafio de encontrar nossas bases de dados; realizarmos todos os tratamentos necessários; disponibiliza-los em um banco SQL e NoSQL e a realização de análises para transformação de dados em informação.
Neste projeto o grupo decidiu por assumir o papel de uma empresa de consultoria fictícia (MEGGA Consultoria) fazendo toda a parte de ETL e Dashboards/Relatórios para que um órgão publico capacitado pudesse tirar os melhores insights e soluções para as informações apresentadas.
Vale lembrar que o grupo focou em deixar o trabalho da forma mais automatizada possível para que pudesse ser utilizada em um ambiente real de trabalho.
Todos os códigos de Web Scrapping, Pipe Lines, Pandas, PySpark e SQL estão disponibilizados em anexo em um arquivo compactado (Projeto Final). Os slides, a documentação do projeto e o dicionário para as base de dados originais também seguem juntos no mesmo arquivo.
Os Dashboards foram apresentados em 2 ferramentas sendo o Data Studio e o PowerBI.
Agradeço imensamente aos professores Igor Gondim Soares de Lemos e Bismark William e ao grupo Alyne Cristina Jorge e Silva, Gustavo Santoro, Eveline Marques e Matheus Reis que tornaram a realização desse incrível projeto possível.
