Este é um projeto de Ciência de Dados que utiliza PySpark para criar modelos de previsão e clusterização na análise de imóveis. A ideia do projeto e os dados foram fornecidos pela Alura como parte do Challenge Data Science 2° Edição.
Foram utilizadas técnicas de transformação dos dados, criação de datasets, pipelines, validação cruzada, grid search, criação e treinamento de modelos de regressão linear e clusterização. Tudo isso feito utilizando basicamente a biblioteca PySpark. O projeto está divido em 3 notebooks que descrevem o processo.
This is a Data Science project that uses PySpark to create prediction and clustering models in real estate analysis. The project idea and data were provided by Alura as part of the Challenge Data Science 2nd Edition.
It was developed through data transformation techniques, creation of datasets, pipelines, cross validation, grid search, creation and training of linear regression and clustering models. All using basically the PySpark library. The project is divided into 3 notebooks that describe the process.