Los evals son el nuevo product spec

En software tradicional, un product spec dice qué debería pasar.

En software con IA, eso no es suficiente.

Cuando el producto es probabilístico, agéntico o adaptativo, la pregunta más importante se vuelve: ¿cómo sabremos si hizo lo correcto?

Por eso creo que los evals se están convirtiendo en el nuevo product spec.

No reemplazan el pensamiento de producto. Lo obligan a volverse más preciso.

Un spec describe la función. Un eval describe el gusto.

Un spec tradicional podría decir:

El sistema debe generar una nota clínica a partir de la transcripción de una consulta.

Suena claro, pero no basta.

¿Qué hace que la nota sea buena? ¿Es concisa? ¿Es completa? ¿Preserva el razonamiento clínico? ¿Evita exagerar? ¿Se adapta a la especialidad? ¿Usa la estructura preferida del clínico? ¿Omite conversación irrelevante? ¿Muestra incertidumbre? ¿Evita inventar cosas que no se dijeron?

Eso no son detalles de implementación.

Eso es el producto.

El eval es donde el gusto se vuelve operacional. Convierte "hazlo bien" en dimensiones que el sistema puede medir.

Los evals capturan criterio

Los mejores evals no son genéricos.

Capturan el criterio de las personas y de la empresa que construyen el producto. Codifican lo que el equipo cree que significa calidad para un cliente específico, en un flujo específico, con riesgos específicos.

Para un scribe de IA, un eval genérico puede revisar gramática o formato.

Un eval útil pregunta si la nota realmente ahorra tiempo al clínico, si el assessment refleja la consulta, si el plan es fiel a lo hablado y si el output es seguro para revisar rápidamente.

Esa diferencia importa.

El eval no es solo QA. Es una versión comprimida del entendimiento que tiene el equipo sobre el cliente.

Los agentes cambian la forma del trabajo

Esto se vuelve todavía más importante cuando la IA pasa de chat a agentes.

El chat es fácil de entender. Preguntas algo. El sistema responde. Evalúas la respuesta.

Los agentes son diferentes. Das una intención y el sistema se va a trabajar. Puede buscar, escribir, llamar herramientas, editar archivos, generar código, tomar decisiones, reintentar y producir un output después de muchos pasos.

Eso cambia el rol humano.

La persona ya no solo escribe instrucciones. Ahora dirige un sistema.

Ya se ve en programación. Primero la IA completaba líneas. Luego respondía preguntas. Después empezó a editar archivos. Ahora puedes delegar una tarea y revisar el resultado. El mismo patrón va a aparecer en producto, operaciones, marketing, soporte, ventas, finanzas y administración en salud.

La pregunta de producto se vuelve: ¿cómo orquestan las personas muchos agentes sin perder entendimiento ni control?

La interfaz se vuelve una sala de control

Si los agentes hacen trabajo real, la interfaz no puede ser solo una caja de chat.

Una caja de chat funciona para una conversación. Se rompe cuando tienes diez agentes trabajando en diez tareas, cada una con diferente estado, riesgo, confianza y dependencias.

Las personas van a necesitar inboxes de agentes, colas de revisión, tableros, trazas, checkpoints, permisos, aprobaciones y formas de intervenir. Van a necesitar ver qué hizo el agente, qué asumió, dónde se atoró y dónde necesita ayuda.

La interfaz se parece menos a una barra de búsqueda y más a una sala de control.

Eso es un problema de diseño de producto tanto como un problema técnico.

Los evals hacen más segura la delegación

Delegar solo funciona cuando la confianza tiene estructura.

Si le pido a un agente que escriba un borrador, puedo revisarlo manualmente. Si le pido que coordine un flujo, toque datos de clientes, genere código o tome decisiones entre sistemas, necesito más que intuición.

Necesito evals.

Necesito saber qué significa éxito antes de que el agente empiece. Necesito checkpoints que detecten fallas temprano. Necesito comparar outputs en el tiempo. Necesito saber si un modelo más barato es suficiente, si un prompt nuevo empeoró algo o si un flujo solo funciona en casos fáciles.

Sin evals, los productos de IA se vuelven demos.

Con evals, se vuelven sistemas de aprendizaje.

El gusto se vuelve infraestructura

Me gusta la idea de que el gusto pueda volverse infraestructura.

Normalmente el gusto suena personal, blando o difícil de medir. Pero en productos con IA, si puedes definir el gusto con suficiente claridad, el sistema puede empezar a optimizar hacia él.

Eso es lo poderoso de los evals.

Son la forma en que un equipo convierte criterio en un activo reutilizable.

Son la forma en que una empresa mejora sin depender solo de memoria y reuniones.

Son la forma en que los agentes se vuelven útiles sin volverse caóticos.

El product spec sigue importando. Pero en IA, el spec más profundo es el eval.