A fidelidade de intenção é uma propriedade mensurável que mostra quanto da intenção que descreves se reflecte de facto no resultado gerado. É a taxa de sobreposição entre um propósito dito numa frase e a saída que acaba nas tuas mãos; quando está completa não se nota, e quando desce emerge como a sensação de que «a IA não entende o que se pediu».
Este texto trata o conceito não como acusação, mas como medida. O desajuste entre descrição e saída muitas vezes não é avaria, mas o resultado natural da fidelidade que se filtra enquanto a intenção passa à descrição e à transferência. O importante é conseguir ver onde se forma essa fuga.
- A fidelidade de intenção é a taxa de sobreposição entre o propósito dito e o resultado gerado.
- A perda ocorre em dois sítios: ao converter a intenção em descrição e ao transferir a descrição para o resultado.
- A fidelidade não é um sentimento abstracto; é uma propriedade observável e mensurável.
- Uma descrição vaga gera saída vaga; quem cria o vazio muitas vezes não é quem o preenche.
- O que estreita o abismo não é uma descrição mais longa, mas um ciclo de feedback mais apertado.
- Quando a fidelidade não se mede, a baixa fidelidade costuma tomar-se por incapacidade da ferramenta.
O que é a fidelidade de intenção e o que mede
A fidelidade de intenção descreve até que ponto o propósito na mente se conserva no resultado gerado. De um lado está o que alguém realmente queria; do outro, o que acaba nas mãos. Quanto menor a distância entre os dois, maior a fidelidade. Essa distância não vai a zero, mas pode estreitar-se.
O valor do conceito é converter uma queixa vaga numa quantidade mensurável. «O resultado não foi como se queria» reporta um sentimento; a fidelidade de intenção pergunta onde e quanto esse sentimento se formou. Assim a discussão deixa de culpar a ferramenta e passa a mapear a perda. Um sentimento não se defende; sobre um mapa discute-se.
Há aqui uma distinção fina mas importante. Baixa fidelidade não significa incompetência de quem produz. Muitas vezes a descrição só transporta parte da intenção; o resto fica por dizer na mente de quem descreve. O lado que produz só vê o dito, não o significado. Por isso mesmo uma produção impecável tira um resultado incompleto de uma descrição incompleta.
Ver a fidelidade como propriedade torna-a melhorável. Um sentimento não se mede, mas uma taxa mede-se, acompanha-se e eleva-se com o tempo. Por isso o conceito precisa de se estabelecer como definição com nome: uma perda sem nome é uma perda que não se gere.
Como a intenção se perde ao passar a descrição
A primeira perda ocorre no momento de pôr a intenção em palavras. O propósito na mente é rico, multidimensional e em grande parte sem palavras. A descrição é um canal plano; é preciso fazer passar esse propósito rico pela estreiteza de algumas frases. Cada detalhe que não passa cai em silêncio.
Uma causa dessa queda é o conhecimento pressuposto. Quem descreve não sente necessidade de dizer restrições óbvias na própria cabeça. A outra parte não vê essas restrições; só lê o escrito. Cada pressuposto não dito conta como inexistente para quem produz. As partes mais críticas da intenção escondem-se muitas vezes exactamente nesses pressupostos não ditos.
A segunda causa é a ambiguidade. Expressões como «um aspecto simples» ou «um fluxo rápido» carregam um único significado para quem descreve e toda uma gama para quem produz. Uma descrição vaga obriga quem produz a preencher o vazio com o próprio pressuposto. O resultado é muitas vezes razoável, mas não o que se quis dizer. Aqui ninguém errou; a fidelidade mesmo assim desceu.
A terceira causa é que a intenção é difusa até para a própria pessoa no momento de descrever. As pessoas costumam saber com mais clareza o que não querem do que o que querem. Por isso a primeira descrição é na verdade um palpite; não se clarifica até se ver um contraexemplo. Esta incerteza interior no momento de descrever é a fonte de perda menos notada e mais profunda.
Porque a fidelidade derrete quando a descrição se torna saída
A segunda perda ocorre na transferência mesmo quando a descrição está completa. Uma descrição tem de ser interpretada, e cada interpretação contém uma escolha. Quem produz fecha cada vazio da descrição com um pressuposto; qual desses pressupostos é correcto muitas vezes não está escrito. Quanto mais interpretação, maior a probabilidade de se afastar da intenção.
Outra fonte de derretimento é partir a descrição em pedaços e voltar a juntá-la. Enquanto um propósito longo se processa passo a passo, cada passo pode ser coerente em si; mas a soma dos passos pode desviar-se da intenção original. A correcção local não garante a fidelidade global. As partes podem acertar uma a uma e o todo chegar mesmo assim ao sítio errado.
Outro factor que derrete a fidelidade na transferência é a diferença de contexto entre quem descreve e quem produz. A mesma palavra desperta duas associações distintas em cada lado. Quem descreve diz «limpo» querendo uma coisa; quem produz lê essa palavra a partir de outra história. A fidelidade conserva-se na medida em que se sobrepõem as associações, não as palavras.
O último factor que derrete a fidelidade na transferência é o atraso do feedback. Se quem descreve avança sem ver o resultado, um pequeno desvio cresce sem se notar. Um mal-entendido leve no primeiro passo multiplica-se em cada passo seguinte. Por isso a perda de fidelidade muitas vezes não é um grande erro único, mas a soma de pequenos desvios não notados.
Como a fidelidade de intenção se torna uma propriedade mensurável
Para medir a fidelidade primeiro é preciso torná-la observável. O caminho mais simples é comparar o resultado gerado com a intenção real de quem descreve e marcar um a um os pontos que se sobrepõem e os que se desviam. Essa marcação converte uma insatisfação abstracta numa lista concreta de desvios.
A segunda medida é o número de correcções. Quantas vezes foi preciso redescrever uma intenção para chegar ao resultado desejado é um indicador indirecto de fidelidade. Uma descrição que se aproxima em poucas rondas transportou bem a intenção; uma que precisa de muitas rondas filtraram muito desde o início. O número de rondas reflecte o tamanho da perda de forma indirecta mas fiável.
A terceira medida é o tipo de desvio. Nem todo o desvio é igual; alguns são superficiais e fáceis de corrigir, outros tocam o núcleo da intenção. Separar os desvios por peso ao medir a fidelidade mostra que perda importa de verdade. A tabela seguinte compara duas abordagens de medição.
| Dimensão | Avaliação intuitiva | Fidelidade medida |
|---|---|---|
| Juízo da saída | Uma sensação geral de satisfação | Desvios marcados um a um |
| Lugar da perda | Vago, muitas vezes carregado na ferramenta | Separa-se: descrição ou transferência |
| Rastreabilidade | Esquece-se de ronda para ronda | Regista-se com o número de correcções |
| Peso do desvio | Todos parecem iguais | Divide-se em superficial e nuclear |
| Melhoria | Deixa-se ao ensaio e erro | Orienta-se pela medida |
O objectivo comum destas medidas é aproximar a fidelidade de um sentimento a um número. Mesmo que o número não seja perfeito, mostra direcção: se a perda sobe ou desce, onde se concentra. O que se mede pode gerir-se; a perda não medida carrega-se continuamente às costas da ferramenta.
Como estreitar o abismo entre descrição e saída
A primeira via para estreitar o abismo é deixar de tentar descrever a intenção completa de uma só vez. A mente humana clarifica o que quer não numa descrição abstracta, mas perante um contraexemplo concreto. Por isso uma descrição curta, uma saída precoce e uma correcção rápida produzem mais fidelidade do que uma primeira descrição longa.
A segunda via é tornar visíveis os pressupostos não ditos. Numa descrição a maior perda está em restrições que nunca se escreveram. Enunciá-las com clareza reduz os vazios que quem produz tem de preencher. Dizer o que não se quer é muitas vezes mais informativo do que dizer o que se quer.
A sequência seguinte descreve, ao nível dos princípios, o ciclo de feedback que estreita o abismo.
- Descreve a intenção não como completa, mas como um núcleo testável.
- Toma uma saída precoce e compara-a com o propósito real.
- Marca em separado os pontos que se sobrepõem e os que se desviam.
- Escolhe o desvio mais pesado e corrige a descrição só através dele.
- Repete o ciclo em curto até o desvio ficar superficial.
O núcleo deste ciclo é apanhar a perda cedo. Um desvio notado tarde multiplica-se; um notado cedo é barato. A fidelidade sobe não com uma só descrição perfeita, mas com rondas curtas que corrigem depressa. Cada ronda aproxima um pouco mais a descrição da intenção; o abismo não se fecha, mas estreita-se.
- Fidelidade de intenção
- Taxa observável e melhorável que mostra até que ponto o propósito descrito se conserva no resultado gerado.
- Perda de descrição
- A parte da intenção na mente que, por pressuposto e ambiguidade, não passa à descrição ao pôr-se em palavras.
- Perda de transferência
- Desvio nascido das escolhas ao interpretar e converter em resultado, mesmo com a descrição completa.
- Contraexemplo
- Feedback que clarifica a intenção mostrando o não desejado em vez de uma descrição positiva, e eleva a fidelidade depressa.
Para onde a fidelidade de intenção amadurece como medida
À medida que produzir fica mais barato, o escasso deixa de ser produzir e passa a ser transportar a intenção com fidelidade. Quando obter um resultado fica fácil, a verdadeira divisão abre-se entre quem consegue o resultado desejado e quem se contenta com um razoável mas errado. A fidelidade é a medida silenciosa dessa divisão.
Uma direcção provável é a fidelidade tornar-se desde o início uma propriedade medida. O que hoje se julga muitas vezes olhando a saída com intuição amanhã pode tornar-se uma medida que mostra o lugar e o peso do desvio. O que fica difícil não é produzir; é distinguir a tempo se a perda se formou na descrição ou na transferência.
Um sinal deste amadurecimento é a habilidade de descrever contar ela própria como competência. Poder dizer a intenção com clareza, limites e forma testável torna-se cada vez mais decisivo do que o conhecimento da ferramenta. A descrição vaga continuará a produzir resultados vagos; a diferença aprofunda-se entre quem vê cedo o custo dessa vaguidade e quem não vê. O que dura não é uma só descrição impecável, mas o juízo capaz de construir o ciclo que apanha cedo a perda e a estreita.
F.A.Q.