A qualidade da saída gerada não se mede pelo facto de alguém gostar dela; mede-se com um conjunto de avaliação que pode ser executado repetidamente com as mesmas perguntas e os mesmos critérios. No campo, esta disciplina chama-se brevemente eval: a prática de tirar a confiança no que um sistema produz da impressão subjetiva e ligá-la a um número mensurável. «Parece bom» é uma impressão; «noventa e três em cem exemplos passaram» é uma medição. A diferença está naquilo em que a confiança assenta.
- Eval é a disciplina de avaliação que mede de forma repetível a qualidade da saída gerada.
- A impressão subjetiva muda com a pessoa e o dia; a medição, com um conjunto fixo, é igual de cada vez.
- Um conjunto de avaliação é um ativo no qual se acumulam deliberadamente exemplos que representam o comportamento esperado.
- Não se segue um único número, mas uma distribuição: não a média, mas onde falha, é o que importa.
- Quando uma alteração baixa a qualidade, quem a nota é o teste de regressão, não o utilizador.
- A confiança medida pode partilhar-se; a intuição não se partilha, apenas se tenta transmitir.
O que é eval e que problema resolve
Eval é a disciplina de avaliação que testa a saída de um sistema generativo face a critérios pré-definidos de forma repetível. O nome vem da palavra inglesa evaluation e fixou-se no campo sob esta abreviatura. O problema que resolve é simples mas profundo: quando a qualidade da saída é subjetiva, ninguém pode dizer com confiança se melhorou.
No software tradicional a resposta correta é, na maioria das vezes, única. Somam-se dois números; o resultado bate ou não. Na saída gerada há várias respostas aceitáveis, respostas más podem parecer razoáveis e a mesma entrada pode dar resultados diferentes em momentos diferentes. Nesse terreno, «funciona?» não chega; cede lugar a «com que frequência, quão bem?».
O que o eval faz é pôr essa pergunta mole numa forma contável. Reúnem-se exemplos que representam o comportamento esperado, define-se o que conta como sucesso em cada um, o sistema corre no conjunto inteiro e o resultado reduz-se a uma taxa. Um único ensaio brilhante é uma anedota. Uma taxa consistente em centenas de exemplos é prova. Toda a disciplina é o esforço de converter anedota em prova.
Há uma distinção fácil de escapar. O eval existe não para dar uma nota, mas para acompanhar uma mudança. O valor absoluto de uma única execução diz muitas vezes pouco; a informação real está na diferença entre duas execuções. Após uma alteração, a taxa desceu, subiu ou manteve-se — a decisão assenta nestas três possibilidades. Por isso o eval não é um exame único, mas uma ferramenta de observação em manutenção contínua.
De «parece bom» à confiança medida
A avaliação intuitiva é uma pessoa olhar para algumas saídas e formar uma impressão geral. É rápida, barata e útil no primeiro dia. O problema é que não escala. Quando muda quem olha, mudam os critérios; decide-se de forma diferente cansado e descansado; e ninguém pode afirmar que a saída de que se gostou ontem continua com a mesma qualidade hoje.
A confiança medida é o contrário. O mesmo conjunto, os mesmos critérios, um resultado que todos podem ver. Não assenta no humor de uma pessoa, mas numa definição partilhada. Toda a equipa olha para o mesmo número e compreende a mesma coisa. A confiança medida é a crença sobre a qualidade de uma saída baseada numa medição repetível e verificável independentemente da pessoa.
Esta transição acontece normalmente num momento de crise. Faz-se uma alteração, algo piora em silêncio e ninguém nota até dias depois, por um aviso externo. Nesse instante, o custo de dizer «parece bom» torna-se visível. Depois do ponto em que a intuição sozinha não chega, a medição não é um luxo; é uma necessidade. As equipas que fazem a transição aprenderam-no muitas vezes uma vez a preço alto.
Descartar a intuição por completo também seria errado. Um olhar experiente é muitas vezes o primeiro a notar estranhezas que um conjunto não captura. A relação correta não é pôr intuição contra medição, mas converter o que a intuição encontra em medição. Alguém sente que uma saída é má; esse sentimento torna-se um exemplo; o exemplo entra no conjunto e já não passa em silêncio. Assim uma impressão subjetiva torna-se uma medição duradoura e partilhável. A intuição descobre; a medição fixa.
Porque o conjunto de avaliação deve ser tratado como um ativo
Um conjunto de avaliação é uma compilação de exemplos escolhidos de propósito que representam o comportamento esperado do sistema, juntamente com o critério de sucesso de cada um. Um bom conjunto não se reúne ao acaso. Equilibra casos fáceis, casos-limite, casos que já partiram e casos deliberadamente difíceis.
Este conjunto é um ativo tão valioso como o próprio código e deve proteger-se como tal. Cresce ao longo do tempo: cada nova falha torna-se um novo exemplo acrescentado. Assim fica mais difícil a mesma falha escapar duas vezes. Deixar um conjunto abandonado desvaloriza-o lentamente; porque se o mundo muda e o conjunto fica fixo, o que mede já não corresponde à realidade.
A composição do conjunto determina a honestidade da medição. Um conjunto só com exemplos fáceis produz uma taxa alta mas enganadora. Um conjunto que não representa o uso real esconde as falhas do uso real. Um tradeoff aparece com frequência: à medida que o conjunto cresce, o sinal fortalece-se mas o custo de cada execução também sobe. Por isso os conjuntos costumam ser estratificados; um núcleo pequeno e rápido corre muitas vezes, e um conjunto amplo e lento corre raramente.
Outro perigo é mais insidioso. O conjunto pode representar demasiado de perto as opiniões da equipa que o construiu. Então a medição não mede quão bom é o sistema no mundo real; mede o que a equipa pensa que é bom. Por isso bons conjuntos alimentam-se do uso real: falhas vividas, entradas inesperadas e casos marginais entram regularmente. O conjunto não é uma fotografia; é um registo vivo. Mantê-lo atualizado é a única forma de manter a medição ligada à realidade; porque o mundo continua a mudar e o conjunto só muda tanto quanto for cuidado.
Como pontuar uma saída sem uma única resposta certa
A parte mais difícil da saída gerada é que a resposta correta muitas vezes não é única. Um texto pode estar bem escrito de três formas diferentes. Nesse caso a pontuação deixa de ser uma simples verificação de igualdade e divide-se em várias abordagens. Cada uma tem forças e fraquezas.
| Abordagem de pontuação | Força | Fraqueza |
|---|---|---|
| Correspondência exata | Sem ambiguidade, resultado repetível | Só funciona em tarefas de uma única resposta certa |
| Verificação baseada em regras | Rápida, explicável, barata | Não captura linguagem flexível nem intenção |
| Comparação com referência | Mede similaridade, vê sucesso parcial | Escolher o limiar é subjetivo |
| Avaliação humana | Captura nuances e contexto | Lenta, cara, varia com a pessoa |
Na prática uma única abordagem não chega. Onde a correspondência exata serve, usa-se; no resto combinam-se regras e comparação com referência; e nos casos mais ambíguos valida-se a medição com uma pequena amostra humana. O importante é saber que abordagem cabe a que pergunta. Um pontuador escolhido para a tarefa errada reporta uma confiança que não existe.
Esquece-se muitas vezes que um pontuador automático também pode errar. Avaliar uma saída com outro sistema é rápido, mas esse avaliador também falha; por vezes dá nota alta a uma má resposta. Por isso uma prática madura compara de vez em quando as decisões do pontuador com o juízo humano. O objetivo é medir quanto a nota automática se sobrepõe à humana. Se a sobreposição for fraca, o que medimos não é qualidade; é apenas o capricho de outro sistema. Antes de confiar no pontuador, é preciso avaliar o próprio pontuador.
Passos para tornar a avaliação repetível e sistemática
A repetibilidade não é acaso; é o resultado de uma ordem. Para uma avaliação medir a mesma coisa de cada vez, é preciso preservar uma certa sequência de operações. A sequência abaixo descreve essa ordem ao nível dos princípios.
- Primeiro define por escrito, independentemente da pessoa, o que conta como sucesso e o que conta como falha.
- Reúne exemplos que representem o comportamento esperado e associa a cada um um critério claro.
- Corre o conjunto; regista o resultado como distribuição, não apenas como uma única taxa.
- Compara com a execução anterior; marca uma descida como regressão e uma subida como melhoria.
- Acrescenta cada nova falha ao conjunto como novo exemplo para que não volte a passar em silêncio.
- Torna este ciclo parte de cada alteração significativa; não uma cerimónia separada, mas um passo de rotina.
No coração destes passos estão alguns conceitos. Separá-los clarifica a discussão.
- Teste de regressão
- Avaliação corrida contra um conjunto fixo que mede se um comportamento que antes funcionava se parte após uma alteração.
- Linha de base
- Resultado anterior aceite com o qual se comparam medições posteriores; o ponto zero a partir do qual se medem melhoria e regressão.
- Ponto cego
- Tipo de falha que o conjunto não representa e por isso não mede, e que só aparece no uso real.
A força desta sequência está na simplicidade e na invariância. Os passos correm na mesma ordem de cada vez; é isso que torna duas execuções verdadeiramente comparáveis. Quando a ordem se parte, a medição perde sentido em silêncio: dois resultados com critérios e exemplos diferentes não se comparam. O verdadeiro custo da repetibilidade é a disciplina; aplicar os mesmos passos em cada alteração, mesmo quando aborrece, sem saltar. Esse aborrecimento não é defeito; é salvaguarda. Uma medição regular e invariável é fiável precisamente porque é previsível.
O que fica difícil quando a medição se torna cultura
Construir uma ferramenta de avaliação é fácil; tornar a avaliação uma cultura é difícil. A ferramenta é um evento que termina com uma execução. A cultura é um hábito em que nenhuma alteração significativa passa sem ser medida. A segunda pede muito mais do que a primeira: uma definição partilhada de qualidade, responsabilidade pelo conjunto e uma disciplina que se recusa a ignorar um número baixo.
À medida que o campo amadurece, o centro de gravidade da medição desloca-se. No início a pergunta era «o sistema funciona?». Agora é cada vez mais «como se sabe quão bem funciona?». É uma pergunta mais profunda e desconfortável, porque a resposta não se dá por intuição. O que fica difícil é escrever com clareza a própria definição de qualidade; porque a maioria das equipas sente o que acha bom mas não consegue descrever.
Esta obrigação de descrever produz um efeito secundário inesperado. Para construir um conjunto é preciso escrever o que conta como bom; escrevê-lo força a equipa, muitas vezes pela primeira vez, a acordar uma definição partilhada de qualidade. O verdadeiro valor da medição está por vezes não no número, mas na conversa necessária para chegar a ele. Construir avaliação torna visíveis pressupostos silenciosos.
Uma segunda dificuldade diz respeito ao âmbito da medição. Um conjunto só mede casos pensados; não pode medir o não pensado. Por isso um perigo insidioso é confiar num número alto medido e esquecer que existem pontos cegos. Uma cultura madura de avaliação confia no número enquanto pergunta continuamente o que o número não cobre. A direção é clara: a confiança já não é uma impressão; está a tornar-se um ativo em manutenção. Construí-lo é uma vez; sustentá-lo é trabalho de todos os dias.
F.A.Q.