eduardomtz / pipeline-template

Plantilla para pipelines en Luigi

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Pipeline template

Plantilla para pipelines usando Luigi

Instrucciones rápidas

Prerequisitos

  • docker
  • ag
  • hub
  • git flow
  • docker-compose
  • docker-machine

Instalando

  1. Copia el template a un repositorio tuyo (en el ejemplo nanounanue, e.g. mi usuario de github) especificando el nombre del proyecto que quieres (en el ejemplo, jitomate)
curl -fsSL https://raw.githubusercontent.com/nanounanue/pipeline-template/master/installer.sh | bash -- /dev/stdin -p jitomate -u nanounanue
  1. Crea 5 nodos usando docker-machine, por ejemplo usando virtualbox como driver
export MACHINE_DRIVER=virtualbox
for N in $(seq 1 5); do
   docker-machine create node$N
done
  1. Crea un swarm
eval $(docker-machine env node1)

docker swarm init --advertise-addr $(docker-machine ip node1)

TOKEN=$(docker swarm join-token -q manager)
for N in $(seq 2 5); do
  eval $(docker-machine env node$N)
  docker swarm join --token $TOKEN $(docker-machine  ip node1):2377
done
eval $(docker-machine env node1)


docker node ls

NOTA: Si tienes problemas, ingresa a cada una de las máquinas

  1. Crea un registry local al swarm
docker service create --name registry --publish 5000:5000 registry:2
  1. Clona el repositorio en el nodo1
  2. Registra las imágenes contenidas en infraestructura
infraestructura/registrar.sh 
  1. Instala y ejecuta el pipeline
make setup 

make run 

Ejecutando pruebas

Deployment

Construido con…

- -

¿Cómo contribuir?

Autores

Licencia

Agradecimientos

About

Plantilla para pipelines en Luigi

License:GNU General Public License v3.0


Languages

Language:Makefile 51.7%Language:Python 38.8%Language:Shell 8.5%Language:R 1.1%