durvalprintes / googlesheets_to_database

Leitura de dados de planilhas no Google drive e o armazenamento em uma base Postgres

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Google Sheets API para Postgres

Projeto em Javascript para importação de dados de planilhas do Google Sheets para uma base de dados Postgres

Pre-requisitos

  1. Criar uma conta de serviço no Google Cloud Plataform;
  2. Criar uma chave de acesso JSON no painel da conta e salvar no diretorio do projeto, a chave privada;
  3. Ativar as APIs do Google Drive e Google Sheets na conta de serviço criada;
  4. Compartilhar as Sheets do Drive com o email da conta, para viabilizar o acesso aos dados da mesma;

Instalação

npm install

ou

yarn install

Execução

  • Acesso a múltiplas planilhas, podendo conter diferente colunas com quantitativos, discriminados por um campo único, data.
  • Para cada planilha, associa-se um valor único, co_cnes, que ao ser inserido em uma tabela no banco de dados, será possivel identificar a origem dos registros.
  • Coleta-se os dados do dia anterior ao corrente nas planilhas, se existir no Banco, todos os campos (quantitativos) serão atualizados, senão novo registro é criado.
  • Valida-se os quantitativos durante o acesso a API , somente é permitido inserir/atualizar valores numéricos de 0 a 999, senão será atribuído o valor 0 ao campo.
  • Cria-se um arquivo log-data.txt, detalhando os campos que foram "zerados" na validação acima.
  • Na ocorrência de excessões, desde o acesso a API e até o fechar da conexão com o Banco, será criado o arquivo log.txt, detalhando o erro.
  • Envio de e-mail ao final, podendo conter em anexo, o arquivo .txt criado durante a execução.

Algumas bibliotecas JS utilizadas

About

Leitura de dados de planilhas no Google drive e o armazenamento em uma base Postgres


Languages

Language:JavaScript 95.5%Language:HTML 4.5%