Lección 1 de 7 · 12 min
Por qué un LLM no se prueba con asserts exactos
Al terminar sabrás
12 min- Explicar por qué una función con IA puede responder distinto a la misma pregunta
- Elegir el oráculo correcto: propiedades, respuesta de referencia o rúbrica
- Medir con tasa de aprobación sobre varias corridas, no con una sola
Construyes: Los criterios de aprobación de una función con IA de tu empresa, escritos como propiedades y rúbrica.
El assert que ya no alcanza
En software clásico, una prueba compara contra un resultado esperado: el total del carrito tiene que ser 12.990, ni un peso más. Si el sistema devuelve 12.991, falla.
Un modelo de lenguaje no funciona así. Le preguntas "¿hacen despacho a Puerto Montt?" y una vez responde "Sí, despachamos a todo Chile", otra "Sí, con un recargo para regiones" y otra "Sí, el despacho a Los Lagos tarda de 3 a 5 días hábiles". Las tres pueden estar bien, o las tres pueden estar mal si la tienda no despacha al sur. Un assert de texto exacto falla con las respuestas buenas y no sabe distinguir las malas.
Qué se valida en su lugar
Una respuesta de IA se juzga con cuatro preguntas:
- ¿Es correcta? Lo que dice es verdad para este negocio.
- ¿Es útil? Responde lo que se preguntó, no otra cosa.
- ¿Es segura? No filtra datos, no obedece instrucciones maliciosas, no promete lo que no puede.
- ¿Se apega a la fuente? Si responde desde documentos, lo que dice está en esos documentos.
Tres tipos de oráculo
Como no hay una respuesta única, QA elige el oráculo según lo que se puede verificar:
Propiedades. Reglas que toda respuesta válida cumple: "devuelve JSON con los campos estado y monto", "no menciona precios", "si no sabe, lo dice", "responde en español". Son deterministas, baratas y atrapan muchísimo. Siempre se empieza por acá.
Respuesta de referencia. Para preguntas con una respuesta conocida ("¿cuál es el horario de atención?"), se compara contra la referencia por contenido, no por texto exacto: ¿dice lo mismo, aunque con otras palabras?
Rúbrica. Para lo que las reglas no alcanzan (tono, utilidad, completitud), una escala corta con criterios claros. Tres niveles bastan: 2 correcta y útil, 1 no daña pero es incompleta, 0 incorrecta o insegura.
Una corrida no prueba nada
Si una función con IA da una respuesta mala 1 de cada 10 veces, una corrida que pasa no dice nada sobre la siguiente. Por eso la unidad de medida cambia: no es "pasó o falló", es la tasa de aprobación sobre varias corridas del mismo caso.
En la práctica:
- cada caso se corre varias veces (3 para empezar, 5 o más en los críticos);
- se mide qué porcentaje cumple las propiedades y qué puntaje promedio saca en la rúbrica;
- y hay casos críticos donde una sola falla en cualquier corrida es un No-Go, aunque el promedio sea bueno.
Lo que sigue igual
El método cambia, el oficio no. Diseñar casos que buscan el borde, desconfiar del camino feliz, reportar con evidencia: todo eso sigue siendo QA. Lo que cambia es que el "resultado esperado" deja de ser un valor y pasa a ser un conjunto de criterios que alguien tiene que escribir.
Y ese es el primer hallazgo en muchos equipos: nadie escribió qué es una buena respuesta. Hasta que eso no exista, la función con IA no se puede probar, y por lo tanto no se puede decir si está lista.
Compruébalo
0/3Responde sin mirar atrás. Verás la explicación al instante.
1. Un chatbot responde distinto cada vez que le haces la misma pregunta. ¿Es un bug?
2. ¿Qué es un 'oráculo de propiedades'?
3. ¿Por qué una prueba de función con IA se corre varias veces?
Reto: los criterios de tu función con IA
Elige una función con IA de tu empresa (o una que uses a diario) y escribe cinco propiedades que toda respuesta válida debe cumplir.
Agrega una rúbrica de tres niveles para lo que las propiedades no alcanzan a medir, y decide cuántas corridas por caso vas a hacer.