Pipeline de Dados com NIFI para consultar API Rest, publicar dados no Kafka, consumir esses dados e salvar no S3
Conseguir recuperar endereços completos através de uma lista de CEP's gravados em uma base de dados.
Recuperar a listagem de CEP's da base de dados, consutar cada um dos CEP's na API Via CEP (https://viacep.com.br/) que retorna o endereço completo e assim salvar esses dados em uma base centralizada.
- PostgresSQL: banco de dados onde a listagem de CEP's estão armazenados, sendo necessário consultá-la.
- NiFi: ferramenta de ETL para realizar e gerenciar a pipeline de dados, permitindo um fluxo constante de dados.
- Kafka: ferramenta de Stream escolhida para desacoplar o fluxo de Extração e Processamento dos dados, aumentando a escalabilidade e confiabilidade do fluxo.
- S3: lugar escolhido para armazenar os dados no formato JSON após ter recuperado os endereços completos.
