BAFurtado / MBA_IDP_CapturaTratamento

Este é o repositório para a disciplina:

Técnicas Avançadas de Captura e Tratamento de Dados

---

MBA em Big Data, Business Analytics e Gestão de Negócios

---

MBA em Big Data e Data Scicence Aplicado ao Setor Público

Professor Bernardo Alves Furtado

---

3 a 21 agosto 2021

---

O que vimos?

1. Armadilhas
2. Pandas (manipulação planilhas) básico.
3. Bancos de dados oficiais.
4. FTP. Donwload, unzip automático.
5. read_fwf: read fixed-width-format.
6. Tratamento básico usando pandas. str.replace. apply.
7. Agregação groupby. Regressão. Output.
8. Formatos tabulares, hierárquicos.
9. Persistência: planilhas, TXT, JSON, PICKLE.
10. SQL básico.
11. Manipulação JSON.
12. class.
13. SQL. Criar tabelas, realizar conexão.
14. APIs. Conceitos. Robos.txt
15. Bibliotecas extração PDFs, leitura.
16. APIs. Post. Request.
17. Integração Captura API e persistência SQL e pandas.
18. Regular expressions.
19. Tratamento. Análises textuais.
20. Beautiful soup. Busca em páginas. Download automático