La tarea completa es la unidad de evaluación
Anthropic distingue flujos definidos por código de agentes que deciden dinámicamente cómo trabajar. Esa diferencia cambia qué observar. En ambos casos, nuestra propuesta es evaluar el resultado operativo completo, incluyendo llamadas, revisiones y confirmación de efectos.
Describe una tarea correcta con condiciones verificables. Por ejemplo: un informe usa el periodo solicitado, conserva referencias y no omite una incidencia pendiente. Evita una puntuación vaga de calidad que nadie pueda convertir en una decisión.
Crear un conjunto representativo
Incluye casos frecuentes, difíciles, ambiguos y sin información suficiente. Separa los ejemplos usados para ajustar el sistema de los reservados para aceptación. Registra la versión de datos, instrucciones, modelo e integración de cada ejecución.
Proponemos comenzar con una colección manejable revisada por el responsable del proceso. Importa cubrir variaciones reales, no anunciar un número grande de pruebas sintéticas que apenas repiten el mismo supuesto.
Medir varias dimensiones
Anota corrección, evidencia, accesos indebidos, intervenciones, latencia y coste por tarea aceptada. Conserva categorías de error: recuperación, interpretación, cálculo, permiso, herramienta y confirmación. Cada categoría sugiere una corrección distinta.
Un promedio puede ocultar un fallo crítico. Define condiciones de parada que no queden compensadas por respuestas buenas en otros casos. Los umbrales se acuerdan según el proceso: no recomendamos trasladar sin más un porcentaje de un benchmark al negocio.
Decidir y seguir comprobando
Compara con una línea base humana o con la automatización anterior usando las mismas tareas. Documenta casos que todavía requieren supervisión y lo que se ha probado con proveedores reales frente a lo que solo se ha simulado.
Después de publicar, repite la evaluación cuando cambien documentos, permisos, modelos o herramientas. Una versión nueva puede introducir regresiones. La aceptación inicial abre la operación; no elimina la necesidad de observarla y corregirla.
Fuentes y alcance
Consulta de referencias: 8 OCT 2026. Los ejemplos y criterios operativos son propuestas editoriales de Asgardium; no demuestran resultados de clientes.
Distinción entre workflows y agentes; el ejemplo de implementación es una propuesta de Asgardium.
Continúa por este tema
Del piloto a producción: un sistema de IA que pueda operarse y recuperarse →
La observabilidad de un agente empieza antes del primer token →
AI Act: qué revisar en la transparencia de un sistema de IA →
ASGARDIUM CONSULTING