anaelisaq / etl-service

Primeiro serviço em Python, desenvolvimento de um processo de etl

Teste Técnico - Neoway

Desenvolvimento back-end de um serviço de ETL na linguagem Python

O propósito desse serviço é ler o arquivo base_teste.txt e realizar validações dos dados contidos nas colunas de CPF e CNPJ. Após o tratamento dos dados, eles são armazenados no banco de dados PostgreSQL usando Docker.

Para executar esse serviço, siga os passos abaixo:

1. Instale o Docker Desktop em sua máquina (caso ainda não tenha):

• Docker

2. Clonar o repositório e colar no terminal o seguinte comando:

git clone [e-mail]:anaelisaq/etl-service.git

3. Executar o Docker Compose pelo terminal:

docker-compose up -d

4. Em seguida, executar o comando no terminal para inicializr o serviço:

docker-compose run app

Para realização desse desenvolvimento, foram utilizadas as seguintes referências:

• Validar CPF/CNPJ

• Tratamento de erros em Python

• PEP8

• Conexão Postgres através do SQLAlchemy

Estrutura relacional do projeto

A partir desse serviço, será criada uma tabela chamada dbneoway e está armazenada de modo público no PostgreSQL, seguindo a estrutura relacional:

Column name	Data Type
CPF	VARCHAR
PRIVATE	INTEGER
INCOMPLETO	INTEGER
DATA_DA_ULTIMA_COMPRA	DATE
TICKET_MEDIO	FLOAT
TICKET_DA_ULTIMA_COMPRA	FLOAT
LOJA_MAIS_FREQUENTE	VARCHAR
LOJA_DA_ULTIMA_COMPRA	VARCHAR
CPF_VALIDO	VARCHAR
CNPJ_LOJA_MAIS_FREQUENTE_VALIDO	VARCHAR
CNPJ_LOJA_DA_ULTIMA_COMPRA_VALIDO	VARCHAR