Automatizar y monitorear la calidad

De verificar a mano a que corra solo

Correr los checks a mano una vez está bien para aprender. En producción, un ETL corre cada noche: nadie va a ejecutar 20 consultas cada madrugada. El nivel senior del QA de datos es dejar que las validaciones corran solas con cada carga y avisen cuando algo se rompe.

Validaciones como código

La idea: las consultas de la suite de calidad viven junto al pipeline y se ejecutan después de cada carga. Si un check crítico no pasa, el proceso alerta o se detiene antes de publicar el dato malo.

-- Un check devuelve cero filas si está sano; cualquier fila = problema
-- Ej: duplicados. Si esta consulta trae filas, el monitor dispara alerta.
SELECT venta_id, COUNT(*)
FROM rpt_ventas
GROUP BY venta_id
HAVING COUNT(*) > 1;

Herramientas como dbt, Great Expectations o incluso scripts SQL agendados hacen esto: definen expectativas ("esta columna no tiene nulos", "el conteo cuadra") y fallan la ejecución si no se cumplen. No necesitas dominarlas para entender el principio: el check es código que corre solo y bloquea el dato malo.

Umbrales: distinguir ruido de anomalía

Regresión de datos

Cuando cambias el ETL —una regla nueva, otra fuente, código refactorizado— necesitas confirmar que lo que antes cuadraba sigue cuadrando. Eso es regresión de datos, el mismo concepto que la regresión de software. Tu suite de checks automatizada ES tu suite de regresión: la corres antes y después del cambio y comparas.

Cierre del curso

Recorriste el arco completo del testing de datos: qué es un ETL, validar extracción, transformaciones, cuadres, calidad y monitoreo automatizado. Es exactamente lo que hace un QA de datos en banca, retail o fintech — un perfil escaso y bien pagado que ahora dominas.

Combínalo con el curso de SQL que le da la base, y con QA con IA para generar y mantener estos checks al doble de velocidad.

Comprueba lo aprendido en el quiz y diseña tu monitor en el reto final.