Uma análise ou predição bem-sucedida depende de dados precisos, bem estruturados e formatados para as diversas finalidades. O Data Wrangling é o processo pelo qual você deve passar para fazer a transição de entradas de fontes de dados brutas em saídas preparadas para serem utilizadas na análise ou em modelos de Machine Learning.
Este repositório consiste na demonstração das principais técnicas de Preparação e Tratamento de Dados.
- Coleta de Dados
- Formatação
- Estruturação
- Limpeza
- Normalizar
- Padronizar
- Visualização
Em Data Wrangling, uma etapa muito importante para analise e processamento de dados, é a limpeza dos dados nulos, os pontos fluante NaN (Not a Number).
Alguns métodos para realizar a limpeza dos dados incompletos:
- Retirada da linha que possui o dado nulo
- Substituição por dados contidos na colunas
- Substituição pela média ou mediana dos dados contidos
- Substituição pela frequencia ou por um valor fixo
Outra etapa bastante significante, é o processo de padronização e normalização dos dados obtidos. O processo de normalização refere-se ao reescalonamento de atributos numéricos de valor real no intervalo 0 e 1. Já a padronização refere-se a mudar a distribuição de cada atributo para ter uma média de zero e um desvio padrão de um (variação unitária).
Também conhecido como bucketing, consiste no processo de categorização de dados numéricos.
Uma variável dummy é aquela que toma o valor 0 ou 1 para indicar a ausência ou presença de algum efeito categórico.
