nahumsa / scraping-jurisprudencia

Rotina de scraping para jurisprudência do TJPR

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Scraping de Jurisprudência do TJPR

Actions Status Code style: black Imports: isort pylint

Tabela de conteúdo

Introdução

Esse repositório consiste em criar um script em python para coletar dados de jurisprudência e decisões do Tribunal Jurídico do estado do Paraná (TJPR).

Esses cálculos são muito importantes para fazer jurimetria, que consiste em aplicar conceitos de estatística para o Direito.

Requisitos

  • Python 3.10
  • instalar pipenv (pip install pipenv)

Rodando o projeto

Para instalar as bibliotecas é necessário instalar o pipenv, se tiver python 3.10 no seu computador, basta rodar pip install pipenv.

Após a instalação do pipenv, tem duas opções para rodar o projeto: utilizando Makefile e utilizando os comandos.

Utilizando Makefile

Para instalar os pacotes basta rodar:

make setup

Isso vai adicionar todos os pacotes necessários para desenvolvimento.

Após isso basta rodar o comando:

make run_scraper

Se o scrape da página for sucedido vai gerar um csv na pasta data com os dados obtidos através do scrape. Caso não seja sucedido (pode ocorrer de que encontre um erro 502), ele gera um execution_error.json.

Utilizando comandos

Para instalar os pacotes basta rodar:

pipenv install --dev

Isso vai adicionar todos os pacotes necessários para desenvolvimento.

Após isso basta rodar o comando:

pipenv run python src/scrape.py

Se o scrape da página for sucedido vai gerar um csv na pasta data com os dados obtidos através do scrape. Caso não seja sucedido (pode ocorrer de que encontre um erro 502), ele gera um execution_error.json.

About

Rotina de scraping para jurisprudência do TJPR


Languages

Language:Python 98.7%Language:Makefile 1.3%