muniter / estrategia_pruebas

Ejecución estrategia de pruebas

This repository is an educational assignment.

• Aplicación bajo pruebas: Ghost
• Versión: 4.41.1
• Versión a comparar VRT: 4.36

Quick Links:

Estrategia:

• Estrategia de Pruebas
• Inventario de pruebas manuales exploratorias

Resultados:

• Inventario de pruebas general
• Instrucciones y descripción de pruebas manuales

Reportes:

• Reporte VRT
• Informe Resultados Semana 1

Instrucciones de ejecución:

• E2E Testing
• VRT Testing

Instrucciones

Los archivos de pruebas se encuentran en e2e-playwright/

La herramienta está corriendo en Continuous Integration en este repositorio, puede navegar a actions para ver los últimos resultados de los test, o puede ver el listado de commits para ver su estado final.

Los workflows, o definición de procedimientos están definidos de la siguiente manera:

1. Tests

Estos corren con cada commit a master en el repositorio.

E2E Testing

Instrucciones para correr pruebas E2E.

Ejemplo en CI

Instrucciones para instalar en máquina en Unix like systems (Linux, Mac OS (no probado)).

1. Instalar dependencias

npm install

2. Instalar dependencias nivel de sistema

• Chromium
• Docker

Instalar playwright browsers:

npx playwright install

Si tiene problemas para instalar siga la guía oficial de instalación de playwright

3. Correr las pruebas:

NOTA: El global setup de playwright se encargará de levantar una instancia de Ghost usando un contenedor en el puerto 9333. por lo cual solo el siguiente llamado es suficiente para hacer el bootstrap.

npm run e2e

NOTA: este comando se encargará de recrear el contenedor de ghost y su base de datos en cada ocasión que corra

Tips

Si tiene problemas para instalar o correr playwright dirígase a la guía de instalación

También le puede servir verificar como las pruebas automátizadas se definen en CI

---

Visual Regression Testing

Instrucciones para correr pruebas de VRT en playwright.

Actualmente las pruebas de VRT se corren en cada commit de este repositorio, como se puede ver en el siguiente workflow:

• VRT

Los resultados son publicados automáticamente a la rama gh-pages de este repositorio y por lo tanto se sirve como contenido web en los siguientes links:

• VRT results

Para correr las pruebas en modos VRT se hace necesario lo siguiente:

---

Instrucciones VRT

Siga las instrucciones descritas para correr E2E Testing ignorando el paso 3, y luego:

1. Run the test suite in both Ghost versions

GHOST_VRT=1 GHOST_VERSION=4.41.1 npm run e2e
GHOST_VRT=1 GHOST_VERSION=4.36 npm run e2e

2. Artifacts processing and report generation

Para generar el reporte:

npm run reporter -- --prev 4.36 --post 4.41.1

Esto generará un archivo en la base del repositorio playwright.html este es el reporte VRT.

---

Autores

• Hector Tenazaca (@htenezaca)
• Javier León Ferro (@andesjavierleon)
• Javier López Grau (@muniter)