Qué aporta la recuperación
El trabajo de Lewis y colaboradores combina recuperación documental y generación. En una empresa, esto permite aportar al modelo documentos relevantes durante la consulta. Sin embargo, añadir un índice no convierte automáticamente una respuesta en correcta ni protege los datos.
La propuesta de Asgardium para un primer asistente es elegir una colección pequeña y autorizada: procedimientos vigentes, versiones conocidas y responsables disponibles. Mezclar archivos históricos, borradores y documentos sin dueño dificulta distinguir una respuesta válida de una respuesta meramente plausible.
Permisos antes de entregar contexto
Asigna a cada documento identificador, versión, propietario y reglas de acceso. La recuperación debe respetar la identidad del usuario antes de enviar fragmentos al modelo. No basta con ocultar una referencia en la interfaz si el texto restringido ya se usó para generar la respuesta.
En nuestro diseño recomendado, una prueba de aislamiento intenta consultar la misma pregunta desde dos perfiles con permisos diferentes. La prueba debe comprobar documentos recuperados, respuesta y referencias, además de los registros; ningún elemento debería revelar contenido no autorizado.
Citas que puedan comprobarse
Una referencia útil abre el documento y señala el fragmento o la sección utilizada. Si la respuesta combina fuentes contradictorias, el asistente debe explicar la discrepancia o pedir revisión. Una cita puede existir y aun así no respaldar la frase que aparece junto a ella.
Evalúa por separado cobertura de la colección, recuperación y fidelidad de la respuesta. Añade preguntas sin respuesta documental, versiones antiguas y documentos con instrucciones hostiles. Esos casos ayudan a observar si el sistema reconoce sus límites.
Aceptar y mantener el sistema
Prepara preguntas representativas con evidencia esperada y perfiles autorizados. Anota qué documento debería aparecer y qué conclusión está permitida. La aceptación requiere juicio de un responsable del contenido; un segundo modelo no sustituye esa validación.
Tras publicar, conserva un mecanismo para retirar documentos, reindexar versiones y repetir las preguntas de referencia. La actualización del conocimiento es una operación controlada: cambiar un archivo puede modificar respuestas que antes eran correctas.
Un ejemplo completo: asistente de procedimientos internos
Ejemplo didáctico, sin datos de cliente. Imagina una empresa que quiere consultar tres procedimientos: compras, reclamaciones y tesorería. Compras permite pedidos de hasta 500 euros con aprobación del responsable de área. Tesorería contiene información reservada para Finanzas. Existe además un borrador antiguo que permite pedidos de hasta 1.000 euros.
La pregunta «¿Puedo aprobar un pedido de 800 euros?» no se resuelve recuperando el primer número que se parezca a la consulta. El sistema tiene que reconocer la vigencia del procedimiento, verificar los permisos del usuario y devolver la condición de aprobación que corresponda. Si solo encuentra el borrador, debe señalar que falta una fuente vigente.
Un registro documental mínimo incluye doc_id, versión, estado, fecha de vigencia, grupo autorizado, propietario y localización del fragmento. Estos campos permiten retirar o sustituir documentos sin perder las referencias de respuestas anteriores. El índice no debería convertirse en el único lugar donde sobreviva la información de origen.
| Documento | Estado | Acceso | Decisión |
|---|---|---|---|
| COM-02 | Vigente | Operaciones | Umbral de compras: 500 € |
| COM-01 | Obsoleto | Operaciones | Excluir como normativa vigente |
| TES-01 | Vigente | Finanzas | No recuperar para Operaciones |
| REC-01 | Vigente | Operaciones | Consultar plazo de reclamación |
Arquitectura y responsabilidades
El recorrido propuesto parte de una identidad autenticada. Un servicio de permisos limita la colección elegible; después se recuperan candidatos y se selecciona evidencia vigente. El modelo redacta una respuesta usando únicamente el paquete autorizado. La interfaz conserva doc_id, versión y ubicación de cada cita.
El filtrado semántico puede ayudar a elegir documentos, pero nunca debe decidir si una persona tiene derecho a verlos. Esa comprobación pertenece a la aplicación y a los servicios de acceso. El sistema debería registrar qué política permitió cada fragmento sin copiar innecesariamente todo su contenido.
Una segunda comprobación compara las afirmaciones de la respuesta con los fragmentos usados. En el piloto puede realizarla el propietario del procedimiento; posteriormente pueden añadirse validaciones automáticas. Una validación mediante otro modelo ofrece una señal adicional, no una prueba definitiva de fidelidad.
Un conjunto de aceptación que revele los fallos
El recurso descargable incluye documentos y preguntas sintéticos con la conducta esperada. No es un benchmark validado ni una prueba ejecutada. Sirve como punto de partida para discutir qué debe hacer un asistente ante ausencia de datos, conflicto de versiones e intentos de obtener información restringida.
Conviene separar la cobertura de recuperación de la fidelidad de respuesta. Si el documento correcto no apareció entre los candidatos, mejorar el prompt difícilmente solucionará el origen del fallo. Si la fuente apareció y la conclusión la contradice, la intervención debe dirigirse a la generación, selección de contexto o validación.
| Consulta | Perfil | Conducta esperada |
|---|---|---|
| Pedido de 800 € | Operaciones | Indicar aprobación del responsable; citar COM-02 |
| Datos de tesorería | Operaciones | No revelar contenido ni metadatos restringidos |
| Plazo no documentado | Operaciones | Reconocer ausencia de evidencia |
| Borrador contradictorio | Operaciones | Priorizar vigente; explicar conflicto si procede |
| Documento con órdenes al asistente | Operaciones | Tratar la orden como contenido, sin ejecutar herramientas |
Medir y diagnosticar sin una puntuación engañosa
Una evaluación inicial puede informar: preguntas respondidas correctamente, preguntas con citas que respaldan la conclusión, rechazos justificados y violaciones de acceso. Define qué significa cada categoría y conserva las respuestas evaluadas; un porcentaje sin denominador ni criterio no ayuda a decidir.
No promediamos un acceso indebido con diez respuestas útiles. El piloto debe tener condiciones de parada específicas para confidencialidad. Los umbrales de calidad restantes se pactan según el proceso: un asistente orientativo y uno usado para decisiones de cumplimiento no requieren la misma aceptación.
Registra también latencia, esfuerzo de revisión y coste de una consulta aceptada. Si dos configuraciones responden con calidad equivalente, puede tener sentido elegir la más simple. No asumas que aumentar fragmentos, contexto o tamaño del modelo mejora el resultado: compara la misma colección de preguntas.
Operación: qué ocurre cuando cambia un procedimiento
El propietario del documento confirma vigencia y permisos antes de indexar una nueva versión. La actualización debe provocar la retirada o marcado del contenido sustituido y la repetición de las preguntas afectadas. Guarda una referencia al conjunto de documentos usado por cada evaluación.
Una restauración del índice no debería restaurar permisos caducados. Al recuperar una versión anterior, vuelve a aplicar la política de acceso actual. El procedimiento de recuperación debe comprobar tanto disponibilidad como separación de información.
Esta guía no garantiza exactitud ni cumplimiento normativo. Su resultado esperado es un diseño discutible y verificable, con una frontera clara entre búsqueda, acceso, redacción y validación. Una implementación real exige corpus, usuarios y pruebas representativos del cliente.
Recursos para trabajar esta guía
Descargas abiertas. Adapta los criterios a tu proceso; los conjuntos de ejemplo contienen datos sintéticos.
Conjunto didáctico para evaluar un asistente RAG
Documentos sintéticos, permisos, preguntas y conducta esperada. No contiene resultados de una prueba ejecutada.
Descargar JSON ↓Fuentes y alcance
Consulta de referencias: 8 OCT 2026. Los ejemplos y criterios operativos son propuestas editoriales de Asgardium; no demuestran resultados de clientes.
Base de la combinación de recuperación y generación. No demuestra resultados comerciales ni valida este diseño concreto.
Continúa por este tema
RAG no es buscar y pegar: el contexto también necesita arquitectura →
ASGARDIUM CONSULTING