La calidad de la salida generada no se mide porque a alguien le guste; se mide con un conjunto de evaluación que puede ejecutarse una y otra vez con las mismas preguntas y los mismos criterios. En el campo, a esta disciplina se la llama brevemente eval: la práctica de sacar la confianza en lo que produce un sistema de la impresión subjetiva y vincularla a un número medible. «Se ve bien» es una impresión; «noventa y tres de cien ejemplos pasaron» es una medición. La diferencia es en qué se apoya la confianza.
- Eval es la disciplina de evaluación que mide de forma repetible la calidad de la salida generada.
- La impresión subjetiva cambia según la persona y el día; la medición, con un conjunto fijo, es igual cada vez.
- Un conjunto de evaluación es un activo en el que se acumulan deliberadamente ejemplos que representan el comportamiento esperado.
- No se sigue un solo número, sino una distribución: no importa la media, sino dónde se rompe.
- Cuando un cambio baja la calidad, quien lo nota es la prueba de regresión, no el usuario.
- La confianza medida se puede compartir; la intuición no se comparte, solo se intenta transmitir.
Qué es eval y qué problema resuelve
Eval es la disciplina de evaluación que pone a prueba la salida de un sistema generativo frente a criterios predefinidos de forma repetible. El nombre viene de la palabra inglesa evaluation y se ha asentado en el campo con esta abreviatura. El problema que resuelve es simple pero profundo: cuando la calidad de la salida es subjetiva, nadie puede decir con confianza si mejoró.
En el software tradicional la respuesta correcta suele ser única. Se suman dos números; el resultado cuadra o no. En la salida generada hay varias respuestas aceptables, las malas pueden parecer razonables y la misma entrada puede dar resultados distintos en momentos distintos. En ese terreno, «¿funciona?» no basta; cede el paso a «¿con qué frecuencia, qué tan bien?».
Lo que hace eval es poner esa pregunta blanda en forma contable. Se reúnen ejemplos que representan el comportamiento esperado, se define qué cuenta como éxito en cada uno, se ejecuta el sistema en todo el conjunto y el resultado se reduce a una tasa. Un solo ensayo brillante es una anécdota. Una tasa coherente en cientos de ejemplos es una prueba. Toda la disciplina es el esfuerzo de convertir la anécdota en prueba.
Hay una distinción fácil de pasar por alto. Eval no existe para poner una nota, sino para seguir un cambio. El valor absoluto de una sola ejecución suele decir poco; la información real está en la diferencia entre dos ejecuciones. Tras un cambio, ¿bajó la tasa, subió o se mantuvo? La decisión se apoya en esas tres posibilidades. Por eso eval no es un examen único, sino una herramienta de observación en mantenimiento continuo.
De «se ve bien» a la confianza medida
La evaluación intuitiva es que una persona mire unos pocos resultados y forme una impresión general. Es rápida, barata y útil el primer día. El problema es que no escala. Si cambia quien mira, cambian los criterios; se decide distinto cansado que descansado; y nadie puede afirmar que lo que gustó ayer sigue siendo de la misma calidad hoy.
La confianza medida es lo contrario. El mismo conjunto, los mismos criterios, un resultado que todos pueden ver. No se apoya en el humor de una persona, sino en una definición compartida. Todo el equipo mira el mismo número y entiende lo mismo. La confianza medida es la creencia sobre la calidad de una salida basada en una medición repetible y verificable con independencia de la persona.
Esta transición suele ocurrir en un momento de crisis. Se hace un cambio, algo empeora en silencio y nadie lo nota hasta días después, por una alerta externa. En ese instante, el coste de decir «se ve bien» se vuelve visible. Después del punto en que la intuición sola no basta, la medición no es un lujo; es una necesidad. Los equipos que dan el paso a menudo lo aprendieron una vez a un precio alto.
Descartar del todo la intuición también sería un error. Un ojo experimentado suele ser el primero en notar rarezas que un conjunto no captura. La relación correcta no es enfrentar intuición y medición, sino convertir lo que encuentra la intuición en medición. Alguien siente que una salida es mala; ese sentimiento se vuelve un ejemplo; el ejemplo entra en el conjunto y ya no pasa en silencio. Así una impresión subjetiva se convierte en una medición duradera y compartible. La intuición descubre; la medición fija.
Por qué el conjunto de evaluación debe tratarse como un activo
Un conjunto de evaluación es una recopilación de ejemplos elegidos a propósito que representan el comportamiento esperado del sistema, junto con el criterio de éxito de cada uno. Un buen conjunto no se reúne al azar. Equilibra casos fáciles, casos límite, casos que ya se rompieron y casos deliberadamente difíciles.
Este conjunto es un activo tan valioso como el propio código y debe protegerse así. Crece con el tiempo: cada nuevo fallo se convierte en un nuevo ejemplo añadido. Así es más difícil que el mismo error se cuele dos veces. Dejar un conjunto abandonado lo devalúa poco a poco; porque si el mundo cambia y el conjunto se queda fijo, lo que mide ya no corresponde a la realidad.
La composición del conjunto determina la honestidad de la medición. Un conjunto solo de ejemplos fáciles produce una tasa alta pero engañosa. Un conjunto que no representa el uso real oculta los fallos del uso real. A menudo aparece un tradeoff: al crecer el conjunto, la señal se fortalece pero también sube el coste de cada ejecución. Por eso los conjuntos suelen estratificarse; un núcleo pequeño y rápido se ejecuta a menudo, y un conjunto amplio y lento se ejecuta con poca frecuencia.
Otro peligro es más insidioso. El conjunto puede representar demasiado de cerca las opiniones del equipo que lo construyó. Entonces la medición no mide cuán bueno es el sistema en el mundo real; mide lo que el equipo cree que es bueno. Por eso los buenos conjuntos se alimentan del uso real: fallos vividos, entradas inesperadas y casos marginales se incorporan con regularidad. El conjunto no es una foto; es un registro vivo. Mantenerlo actualizado es la única forma de atar la medición a la realidad; porque el mundo sigue cambiando y el conjunto solo cambia en la medida en que se cuida.
Cómo puntuar una salida sin una sola respuesta correcta
Lo más difícil de la salida generada es que la respuesta correcta a menudo no es única. Un texto puede estar bien escrito de tres maneras distintas. Entonces la puntuación deja de ser una simple comprobación de igualdad y se divide en varios enfoques. Cada uno tiene fortalezas y debilidades.
| Enfoque de puntuación | Fortaleza | Debilidad |
|---|---|---|
| Coincidencia exacta | Sin ambigüedad, resultado repetible | Solo funciona en tareas de una sola respuesta correcta |
| Comprobación basada en reglas | Rápida, explicable, barata | No captura el lenguaje flexible ni la intención |
| Comparación con referencia | Mide similitud, ve el éxito parcial | Elegir el umbral es subjetivo |
| Evaluación humana | Capta matices y contexto | Lenta, cara, varía según la persona |
En la práctica un solo enfoque no basta. Donde encaja la coincidencia exacta se usa; en el resto se combinan reglas y comparación con referencia; y en los casos más ambiguos se valida la medición con una pequeña muestra humana. Lo importante es saber qué enfoque encaja en qué pregunta. Un puntuador elegido para la tarea equivocada informa una confianza que no existe.
A menudo se olvida que un puntuador automático también puede equivocarse. Evaluar una salida con otro sistema es rápido, pero ese evaluador también yerra; a veces da una nota alta a una mala respuesta. Por eso una práctica madura compara de vez en cuando las decisiones del puntuador con el juicio humano. El objetivo es medir cuánto se solapa la nota automática con la humana. Si el solapamiento es débil, lo que medimos no es calidad; es solo el capricho de otro sistema. Antes de confiar en el puntuador, hay que evaluar al puntuador mismo.
Pasos para hacer la evaluación repetible y sistemática
La repetibilidad no es casualidad; es el resultado de un orden. Para que una evaluación mida lo mismo cada vez, hay que preservar una cierta secuencia de operaciones. La secuencia siguiente describe ese orden a nivel de principios.
- Primero define por escrito, con independencia de la persona, qué cuenta como éxito y qué como fracaso.
- Reúne ejemplos que representen el comportamiento esperado y adjunta a cada uno un criterio claro.
- Ejecuta el conjunto; registra el resultado como distribución, no solo como una sola tasa.
- Compara con la ejecución anterior; marca una bajada como regresión y una subida como mejora.
- Añade cada nuevo fallo al conjunto como nuevo ejemplo para que no vuelva a pasar en silencio.
- Haz de este bucle parte de cada cambio significativo; no una ceremonia aparte, sino un paso rutinario.
En el corazón de estos pasos hay unos pocos conceptos. Separarlos aclara la discusión.
- Prueba de regresión
- Evaluación ejecutada contra un conjunto fijo que mide si un comportamiento que antes funcionaba se rompe tras un cambio.
- Línea base
- Resultado anterior aceptado con el que se comparan las mediciones posteriores; el punto cero desde el que se miden mejora y regresión.
- Punto ciego
- Tipo de fallo que el conjunto no representa y por tanto no mide, y que solo aparece en el uso real.
La fuerza de esta secuencia está en su simplicidad e invariancia. Los pasos siguen el mismo orden cada vez; así dos ejecuciones son realmente comparables. Cuando se rompe el orden, la medición pierde sentido en silencio: dos resultados con criterios y ejemplos distintos no se pueden comparar. El verdadero coste de la repetibilidad es la disciplina; aplicar los mismos pasos en cada cambio, incluso cuando aburre, sin saltárselos. Ese aburrimiento no es un defecto; es una garantía. Una medición regular e invariable es fiable precisamente porque es predecible.
Qué se vuelve difícil cuando la medición se convierte en cultura
Construir una herramienta de evaluación es fácil; convertir la evaluación en cultura es difícil. La herramienta es un evento que termina con una ejecución. La cultura es un hábito en el que ningún cambio significativo pasa sin medirse. Lo segundo pide mucho más que lo primero: una definición compartida de calidad, responsabilidad sobre el conjunto y una disciplina que se niega a ignorar un número bajo.
A medida que madura el campo, el centro de gravedad de la medición se desplaza. Al principio la pregunta era «¿funciona el sistema?». Ahora es cada vez más «¿cómo se sabe qué tan bien funciona?». Es una pregunta más profunda e incómoda, porque la respuesta no se da con intuición. Lo que se vuelve difícil es escribir con claridad la definición misma de calidad; porque la mayoría de los equipos siente qué considera bueno pero no puede describirlo.
Esta obligación de describir produce un efecto secundario inesperado. Para construir un conjunto hay que escribir qué cuenta como bueno; escribirlo obliga al equipo, a menudo por primera vez, a acordar una definición compartida de calidad. El valor real de la medición a veces no está en el número, sino en la conversación necesaria para llegar a él. Construir evaluación saca a la luz supuestos silenciosos.
Una segunda dificultad tiene que ver con el alcance de la medición. Un conjunto solo mide los casos pensados; no puede medir lo no pensado. Por eso un peligro insidioso es confiar en un número alto medido y olvidar que existen puntos ciegos. Una cultura madura de evaluación confía en el número mientras pregunta sin cesar qué no cubre. La dirección es clara: la confianza ya no es una impresión; se está convirtiendo en un activo en mantenimiento. Construirlo es una vez; sostenerlo es un trabajo de cada día.
F.A.Q.