Evals: un set, una rúbrica y un umbral

La suite de regresión de una función con IA

Un set de evals es para una función con IA lo que la suite de regresión es para el resto del software: un conjunto fijo de casos, cada uno con su criterio de aprobación, que se corre para saber si el sistema sigue siendo aceptable.

Tiene tres partes:

1. El set: los casos.
2. La rúbrica: cómo se puntúa cada respuesta.
3. El umbral: cuánto tiene que sacar para aprobar, y qué casos no admiten ni una falla.

El set: de dónde salen los casos

Un buen set mezcla cuatro fuentes:

• Preguntas reales. Las más comunes que hace la gente, sacadas de los registros y anonimizadas: sin nombres, RUT ni correos.
• Bordes. Preguntas ambiguas, con faltas de ortografía, en otro idioma, muy largas, con dos preguntas en una.
• Sin respuesta. Cosas cuya respuesta no está en las fuentes. Son las que más alucinaciones encuentran.
• Adversariales. Intentos de que el sistema haga lo que no debe: revelar datos, obedecer instrucciones escondidas, saltarse reglas.

Para empezar, 20 casos bien elegidos valen más que 500 copiados de un log. Después el set crece con cada bug: todo defecto que escapa a producción se convierte en un caso nuevo, igual que en una suite clásica.

La rúbrica: corta y con ejemplos

Una rúbrica de tres niveles alcanza:

La clave es escribir un ejemplo por nivel. Sin ejemplos, dos personas puntúan distinto la misma respuesta, y la rúbrica deja de medir.

El juez: otra IA, pero calibrada

Puntuar a mano cien respuestas cinco veces cada una no escala. Por eso es común usar otra IA como juez: recibe la pregunta, la respuesta, la rúbrica y, si existe, la respuesta de referencia, y devuelve un puntaje.

Funciona, con una condición: hay que calibrarlo. Una persona puntúa una muestra (diez o veinte respuestas), el juez puntúa las mismas y se compara. Si coinciden en la gran mayoría, el juez sirve para el resto. Si no, se ajusta la rúbrica o el prompt del juez antes de confiar en sus notas. Un juez sin calibrar tiende a ser indulgente justo con las respuestas que suenan convincentes.

Y una regla de la política de IA: si el juez es un servicio externo, los casos no llevan datos reales de clientes.

El umbral: dos números

• Promedio mínimo en la rúbrica, por ejemplo 1,6 sobre 2.
• Cero fallas en los casos críticos: datos personales, inyección, acciones irreversibles. En esos, una sola respuesta con 0 en cualquier corrida es No-Go, aunque el promedio sea excelente.

Cuándo se corre

Igual que una regresión: antes de cada cambio. Y en una función con IA cambian más cosas de las que parece:

• el prompt del sistema;
• el modelo (o su versión);
• los documentos que consulta;
• las herramientas que puede usar.

Un cambio de una línea en el prompt puede romper casos que pasaban hace un mes. Sin evals, eso se descubre cuando un cliente lo publica. Hay herramientas de código abierto que corren evals desde el pipeline de CI, como promptfoo o DeepEval, pero el método no depende de ninguna: una planilla con los casos, la rúbrica y las corridas ya es un set de evals.