¿Cómo evaluar un proyecto de IA con métricas útiles?

16 de noviembre de 20267 min de lectura
¿Cómo evaluar un proyecto de IA con métricas útiles?

Un porcentaje global de acierto puede ocultar que el sistema se equivoca justamente en las decisiones más costosas. Para evaluar un proyecto de IA conviene partir de las tareas, distinguir los efectos de cada error y comparar con la forma de trabajo actual. La evaluación necesita acompañar al sistema desde las primeras pruebas hasta las siguientes versiones en producción.

Una métrica por decisión

En clasificación interesa saber qué asuntos se enviaron al equipo adecuado. En extracción interesa conocer qué importe, referencia o fecha se leyó bien. En un asistente importa si la respuesta y la fuente respaldan la decisión del usuario.

La unidad de medida debe corresponder con lo que valida una persona. Un documento con veinte campos puede contener diecinueve correctos y depender del campo restante para que un pedido avance. Una respuesta de un asistente puede ser gramaticalmente correcta y omitir una condición importante. Al definir métricas, decide qué constituye una operación utilizable y cuáles son las comprobaciones secundarias. La combinación de ambas medidas permite informar del resultado operativo y, al mismo tiempo, orientar correcciones concretas durante el desarrollo.

Define qué unidad necesita evaluar una persona para confiar en el resultado. Separa exactitud, tiempo de revisión y coste de reparar el error.

Comprueba que cada indicador representa una tarea real y que se puede volver a medir con una versión diferente del sistema.

No confundir acierto con utilidad

Un sistema puede clasificar bien mensajes simples que ya se asignan en pocos segundos y fallar en los que consumen más trabajo. Su porcentaje agregado puede subir aunque el beneficio operativo sea escaso.

Conviene comparar también con un cambio sencillo en el flujo de trabajo. Si una lista de valores frecuentes acelera la tarea y mejora las correcciones, puede ser la referencia adecuada para medir el modelo. La misma muestra debe pasar por ambas alternativas, con personas que conozcan el trabajo y condiciones equiparables. Si un grupo tarda más porque se está formando, registra la circunstancia y evita atribuirla directamente al sistema. La comparación resulta útil cuando incluye tiempos, calidad y condiciones observadas.

Segmenta por dificultad, impacto y volumen. Compara el tiempo completo de ejecución y validación con la referencia manual. Anota qué pasos desaparecen y qué pasos se añaden.

Estima el tiempo neto por tarea y revisa si la mejora se concentra en los casos que justificaban el proyecto.

Preparar un conjunto independiente

Si un equipo ajusta las instrucciones mirando siempre los mismos ejemplos, aprende a resolver esas preguntas concretas. El resultado puede bajar al llegar a usuarios y documentos distintos.

Los conjuntos reservados ganan valor si contienen ejemplos representativos de cosas que pueden cambiar. Una separación aleatoria puede colocar dos documentos casi iguales en desarrollo y prueba y exagerar el resultado. Al agrupar por proveedor o periodo, el conjunto reservado permite entender la respuesta ante un formato nuevo. En un asistente con fuentes, puede reservarse también una clase de pregunta que requiera combinar dos apartados. Mantén anotada la procedencia de cada ejemplo sin incorporar más datos de los necesarios para reproducir la evaluación.

Divide las muestras por periodo o proveedor cuando tengan patrones compartidos. Reserva casos de evaluación y controla cuándo se pueden consultar para corregir errores.

Compara resultados por tipo de entrada entre los ejemplos que se usaron para desarrollar el sistema y los que quedaron reservados.

Separar errores por consecuencia

Un asunto mal clasificado puede corregirse al instante. Una instrucción errónea para un cliente puede propagarse fuera de la empresa. Una fila de un pedido con cantidades incorrectas puede alterar una orden.

La severidad se define con quien asumiría las consecuencias. Una clasificación equivocada puede ser leve si la persona la corrige al instante y grave si lanza una tarea fuera del área autorizada. Conviene documentar qué controles pueden detectar cada tipo de error antes de producir un efecto. En una prueba, identifica además la versión de reglas y los permisos. Esto deja una referencia para decidir si una mejora procede del modelo, de un control añadido al flujo o de una diferencia en los casos analizados.

Acuerda una escala de consecuencias con el equipo que recibe la salida. Identifica errores que exigen revisión obligatoria y qué aspectos pueden controlarse mediante reglas deterministas.

Cuenta los errores críticos por unidad y distingue los que frenó una regla de los que pudieron llegar a ejecutar una acción.

Incluir cuándo abstenerse

El asistente puede encontrar evidencia parcial y presentar una conclusión demasiado segura. La misma capacidad de responder ayuda poco cuando el usuario necesita distinguir una orientación de un procedimiento confirmado.

Medir la abstención exige incluir preguntas con evidencia insuficiente, contradictoria o fuera del alcance. Una respuesta vaga que no permite continuar rara vez ayuda al usuario. Resulta más útil explicar qué información haría falta y a qué equipo corresponde confirmarla. En extracción, un valor marcado para revisión puede ser una buena decisión si el campo no se distingue en la imagen. Al contar estos resultados, diferencia la abstención correcta del caso que el sistema debería haber podido resolver con la información disponible.

Prueba casos sin información suficiente y define qué respuesta debe ofrecer el sistema. Evalúa si la derivación identifica qué falta y a qué equipo conviene recurrir.

Separa las abstenciones pertinentes de los casos en que el sistema avanzó sin respaldo y mide cuánto cuesta recuperar una respuesta fiable.

Operar la evaluación en el tiempo

El cambio de plantillas, hábitos o recursos indexados puede modificar el rendimiento sin tocar el modelo. Una nueva versión del servicio puede traer diferencias que aparecen semanas después.

La evaluación continua debe tener un presupuesto de tiempo. Puedes conservar un grupo estable de ejemplos y añadir incidentes reales tras revisarlos, procurando que no desplacen todos los casos frecuentes. Cuando se cambia el modelo, la primera comparación puede pasar por el mismo conjunto y medir desviaciones en las entradas más delicadas. Si algo empeora, la tarea es identificar el segmento y el efecto en operación. Una revisión posterior comprueba si la corrección alcanza el objetivo sin trasladar el problema a otra clase.

Mantén un conjunto de regresión y un mecanismo controlado para añadir fallos reales. Anota versión, fecha, condiciones de ejecución y responsables de revisar resultados.

Sigue los indicadores por segmento y conserva el resultado de la prueba que confirmó que una corrección resolvía el problema.

Un ejemplo con extracción de facturas

En una prueba de extracción, la aplicación puede acertar fechas y referencias en casi todos los documentos, pero la validación humana descubre varios importes mal interpretados en facturas de varias páginas. El promedio de todos los campos puede parecer favorable pese a que esa familia de errores consume tiempo y puede afectar a la contabilidad. El informe tendrá más utilidad si presenta el resultado por campo, tipo documental y consecuencia de una corrección tardía.

La medición puede recoger además cuánto tiempo tarda el equipo en localizar el origen de cada error. Una lectura dudosa acompañada de su región en el PDF facilita la revisión. Una cifra sin explicación obliga a abrir el documento y buscarla. Aunque ambas propuestas se clasifiquen como incorrectas, su coste en el proceso no es equivalente. La evaluación debe conservar el detalle suficiente para comparar esas dos situaciones.

Cómo presentar los resultados a quien decide

Un informe para dirección puede mostrar dónde se obtuvo mejora, qué tipos de error siguen abiertos y qué alcance se evaluó. Para el equipo técnico interesa también conservar ejemplos, entradas agrupadas y versión del modelo. La combinación permite decidir si ampliar el proyecto y rastrear luego el origen de una desviación. Cuando la muestra tiene pocos ejemplos de una categoría, recoge ese límite y amplía la observación antes de automatizar decisiones de mayor impacto.

Para revisar una serie de versiones, conserva los criterios de evaluación junto con los resultados. Si cambia la definición de un error crítico, vuelve a calcular la referencia o indica desde qué fecha empieza la serie nueva. Con esa práctica el equipo puede explicar si se produjo una mejora real o si cambió lo que medía. Las diferencias de criterio deben resolverse antes de ampliar la automatización.

Más información sobre IA y datos.