Este repositório foi pensado para quem está tendo um primeiro contato com ciência de dados, mas ainda conhece mais a versão da propaganda do que a do mundo real 😉
Ele é uma coleção dos melhores posts criados por alunos das disciplinas de Ciência de dados I e Mineração de Dados, ofertadas no Instituto Metrópole Digital (IMD) da Universidade Federal do Rio Grande do Norte (UFRN).
Dá pra fazer ciência sem dados? Dá para aprender com dados sem ciência?
Essas perguntas são parte de um post que escrevi pra apresentar de forma prática esta área.
Para ampliar essa discussão, leia pelo menos um capítulo deste livro de 1954: Como mentir com estatística.
O termo ciência de dados é relativamente novo, mas a área é bem antiga.
Seguem alguns posts sobre temas novos que ajudam a justificar a empolgação mais recente:
- Ciência de dados em tempo real
- Ciência de dados abertos
- Ciência de dados em larga escala
- Ciência de dados nem sempre confiáveis
- Ciência de dados georeferenciados
- Ciência de dados raspados
- Ciência de dados não somente estruturados
O primeiro passo para lidar com dados é entendê-los.
O caso de aplicação mais simples é o de dados tabulares. Este post ajuda a entender este conceito.
Nesse caso, entender dados é entender atributos (do inglês features) e observações.
Alguns tipos de ferramentas são muito úteis para entender atributos: dicionários, estatística descritiva e visualizações de dados 👓
Um dicionário de dados é um documento que explica o significado e possíveis valores de cada atributo e é essencial pra entender o domínio da aplicação.
Os posts a seguir apresentam conceitos fundamentais de estatística descritiva e visualização de atributos:
- Tipos
- Distribuições
- Medidas centrais
- Relações
- Transformação
- Seleção
- Extração
- Redução de dimensionalidade
Um tipo de entrevista de emprego comum na área de ciência de dados é ser apresentado a um dataset e ter que explorá-lo brevemente, mostrando os insights que você consegue extrair dele.
Na verdade, sempre que nos deparamos com um novo problema em ciência de dados, precisamos dessa etapa de análise exploratória de dados.
Quer um exemplo? Este kernel do Kaggle aplica vários dos conceitos discutidos nos posts acima.
Outros exemplos:
Para entender as observações presentes em um conjunto de dados, podemos usar visualizações interativas e análise de agrupamentos.
Os posts a seguir apresentam conceitos fundamentais relacionados as estas ferramentas:
- Visualização interativa
- Agrupamento hierárquico
- Qualidade de agrupamentos
- Similaridade manual de observações
- Agrupamentos baseados em centroides
- Agrupamento baseado em densidade
- Agrupamento baseado em distribuição
- Similaridade supervisionada de observações
Este post é um exemplo de como aplicar os conceitos acima ao analisar um dataset.