Lección 6 de 7 · 11 min
Automatizar y monitorear la calidad
Al terminar sabrás
11 min- Convertir los checks manuales en validaciones automáticas que corren con cada carga
- Definir umbrales y alertas para detectar problemas antes que el negocio
- Aplicar regresión de datos: que un pipeline que funcionaba siga funcionando
Construyes: El diseño de un monitor de calidad que corre con cada ejecución del ETL y alerta.
De verificar a mano a que corra solo
Correr los checks a mano una vez está bien para aprender. En producción, un ETL corre cada noche: nadie va a ejecutar 20 consultas cada madrugada. El nivel senior del QA de datos es dejar que las validaciones corran solas con cada carga y avisen cuando algo se rompe.
Validaciones como código
La idea: las consultas de la suite de calidad viven junto al pipeline y se ejecutan después de cada carga. Si un check crítico no pasa, el proceso alerta o se detiene antes de publicar el dato malo.
-- Un check devuelve cero filas si está sano; cualquier fila = problema
-- Ej: duplicados. Si esta consulta trae filas, el monitor dispara alerta.
SELECT venta_id, COUNT(*)
FROM rpt_ventas
GROUP BY venta_id
HAVING COUNT(*) > 1;
Herramientas como dbt, Great Expectations o incluso scripts SQL agendados hacen esto: definen expectativas ("esta columna no tiene nulos", "el conteo cuadra") y fallan la ejecución si no se cumplen. No necesitas dominarlas para entender el principio: el check es código que corre solo y bloquea el dato malo.
Umbrales: distinguir ruido de anomalía
Regresión de datos
Cuando cambias el ETL —una regla nueva, otra fuente, código refactorizado— necesitas confirmar que lo que antes cuadraba sigue cuadrando. Eso es regresión de datos, el mismo concepto que la regresión de software. Tu suite de checks automatizada ES tu suite de regresión: la corres antes y después del cambio y comparas.
Queda un tema que en Chile tiene fecha: los datos de prueba y la Ley 21.719. Es la última lección.
Compruébalo
0/3Responde sin mirar atrás. Verás la explicación al instante.
1. ¿Qué significa que las validaciones de datos corran 'como código' en el pipeline?
2. ¿Por qué se definen umbrales (thresholds) en el monitoreo de datos?
3. ¿Qué es la 'regresión de datos'?
Reto final: diseña el monitor de calidad
Diseña (en pseudocódigo o palabras) un monitor que corra tras cada carga del ETL: qué checks ejecuta, qué umbrales usa, y qué hace cuando uno falla.
Incluye al menos: completitud (cuadre de conteo), un check de duplicados y un umbral de variación diaria.