jmf92 / Lambpara

Final Project to apply big data technologies(Pulsar, Flink and InfluxDB) to help people know their household power consumption.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Lambpara

Repositorio donde se aloja el código y despliegue de una plataforma para el trabajo Fin de Máster en Arquitecturas Big Data de Kschool

¿Qué es Lambpara?

Lambpara es una plataforma para la monitorización del consumo energético en el hogar. Ofrece datos de consumo, tanto económico como energético, en "tiempo real" recolectando las medidas eléctricas que envían los sensores conectados del hogar.

Información más detallada en este enlace. En ese enlace se puede encontrar mas información sobre:

Infraestructura

Despliegue

Siguiendo esta guía se tendrá desplegado en GKE las siguientes herramientas y componentes.

###Herramientas

  • Cluster Pulsar
Componente Número
Broker 3
Bookeeper 3
Zookeeper 3
Proxy 3
Prometheus 1
Grafana 1
  • Cluster Flink
Componente Número
JobManager 1
TaskManager 2
  • Visualización
Componente Número
InfluxDB 1
Grafana 1

Con la infraestructura ya preparada se puede procede a subir los jobs encargados del procesamiento, mas info aquí.

Por último se puede utilizar esta guía para simular sensores que envían datos a la plataforma.

Agradecimientos

Los datos utilizados para generar las medidas han sido extraídas del dataset:

Makonin, Stephen, 2016, "AMPds2: The Almanac of Minutely Power dataset (Version 2)", https://doi.org/10.7910/DVN/FIE0S4, Harvard Dataverse, V1, UNF:6:0uqZaBkSWdyv27JqTHFWPg== [fileUNF]

About

Final Project to apply big data technologies(Pulsar, Flink and InfluxDB) to help people know their household power consumption.


Languages

Language:Java 57.8%Language:Python 36.9%Language:Shell 5.3%