Alucinaciones y fuentes: probar un asistente con documentos (RAG)

Qué es un RAG, en simple

Muchos asistentes de empresa no responden "desde su cabeza". Responden desde documentos: el manual de políticas, las preguntas frecuentes, el catálogo. La técnica se llama RAG (retrieval-augmented generation): ante una pregunta, el sistema busca los fragmentos de documento más parecidos y se los pasa al modelo, que redacta la respuesta con esa información.

Se parece a un empleado nuevo con una carpeta de procedimientos: busca la página que corresponde y responde con lo que dice ahí. El problema es que puede buscar mal, leer mal o, si no encuentra nada, inventar.

Las cuatro formas de fallar

1. Busca mal. La respuesta está en los documentos, pero el sistema trae otro fragmento. Responde algo correcto sobre un tema distinto.

2. No se apoya en la fuente. Trae el fragmento correcto, pero la respuesta agrega cosas que no están ahí. Es la alucinación clásica.

3. Inventa cuando no hay respuesta. La pregunta no está cubierta por ningún documento y, en vez de decir "no tengo esa información", responde algo plausible. Es la más peligrosa, porque el usuario la cree.

4. Usa una fuente desactualizada o contradictoria. Hay dos versiones de la política de despacho y toma la vieja.

OWASP agrupa varias de estas en sus riesgos de desinformación (Misinformation) y de debilidades en vectores y embeddings (Vector and Embedding Weaknesses), que es como se llama la parte de búsqueda de un RAG.

Un caso por cada forma de falla

Las citas también se prueban

Muchos asistentes muestran la fuente: "según la Política de despacho, punto 4". Ayuda, pero no garantiza nada. Una cita se puede inventar, o puede apuntar a un párrafo que dice otra cosa.

El caso de prueba incluye abrir la fuente citada y verificar dos cosas: que exista, y que diga de verdad lo que el asistente afirmó.

Lo que se mide

Dos métricas resumen la calidad de un RAG, y tienen nombres que vas a ver en las herramientas:

• Apego a la fuente (groundedness o faithfulness): qué parte de lo que dice la respuesta está respaldada por los fragmentos que usó.
• Relevancia del contexto: si los fragmentos que trajo sirven para la pregunta.

Se pueden medir con un juez automático calibrado (lección 2). Pero el primer paso no requiere herramientas: los casos sin respuesta, corridos varias veces, ya dicen si el sistema inventa.

Por qué importa tanto

Un botón roto se ve. Una respuesta inventada no: el usuario la cree y actúa. Si el asistente promete una devolución que la política no permite, el problema llega después, al servicio al cliente o a un reclamo formal. Por eso en un RAG los casos sin respuesta van siempre como críticos: una sola invención en cualquier corrida es No-Go.