A engenheira de dados é a pessoa que está sempre no início do processo de dados. É quem vai verificar quais os dados disponíveis dentro e fora da empresa (podendo ser dados estruturados e não estruturados) e vai trazê-los de uma forma centralizada, provendo uma estrutura para esses dados. Será responsável por fazer a limpeza, estruturação e principalmente consolidação dos dados. Tradicionalmente, esse profissional tem background como DBA ou BI clássico.
O maior entregável da Engenheira de Dados é o Dado com Qualidade!
- SQL
- Conhecimento em linguagem de programação mais estruturada, como Python.
- Skills em Engenharia de Software
- DevOps - automatização, esteiras de integração contínua, CI/CD
- Infraestrutura como Código - Ansible, Terraform, Chef, Puppet
- Cloud Computing: AWS, Azure, Google Cloud, Oracle Cloud.
- Tecnologias de Big Data: Ecossistema Hadoop / Spark
- Desenvolvimento de Pipeline de Dados: Airflow, Ni-Fi
- Data Lake/Lakehouse: Dremio, Presto, Athena, Big Query, etc.
- Streaming de Dados: Kafka, Spark Streaming, etc.
- Curiosidade, estar antenada com as inovações
- Visão holística, do todo. Quem vai usar o dado, como, para que, qual valor vai agregar ao negócio?
- Engenheiras de Dados são eternas aprendizes!
- Formação Engenharia de Dados - Data Science Academy >> Link: https://www.datascienceacademy.com.br/bundle/formacao-engenheiro-de-dados
- Trilha Engenharia de Dados - Alura >> Link: https://www.alura.com.br/cursos-online-data-science/engenharia-de-dados
- Pós Graduação IGTI >> Link: https://www.igti.com.br/trilhas-de-especializacao/engenharia-de-dados
- SQL Iniciante: https://www.alura.com.br/cursos-online-data-science/sql
- SQL Avançado: https://www.youtube.com/channel/UCW8Ews7tdKKkBT6GdtQaXvQ
- LIVE - Engenheiro de Dados - o novo unicórnio (IGTI) - https://youtu.be/-ckOgX2QB2o