La qualité d'une sortie générée ne se mesure pas au fait que quelqu'un l'aime ; elle se mesure avec un jeu d'évaluation que l'on peut relancer encore et encore avec les mêmes questions et les mêmes critères. Dans le domaine, on appelle brièvement cette discipline eval : la pratique de sortir la confiance dans ce qu'un système produit de l'impression subjective et de la lier à un nombre mesurable. « Ça a l'air bien » est une impression ; « quatre-vingt-treize exemples sur cent ont réussi » est une mesure. La différence tient à ce sur quoi repose la confiance.
- L'eval est la discipline d'évaluation qui mesure de façon reproductible la qualité de la sortie générée.
- L'impression subjective change selon la personne et le jour ; la mesure, avec un jeu fixe, est la même à chaque fois.
- Un jeu d'évaluation est un actif dans lequel on accumule délibérément des exemples qui représentent le comportement attendu.
- On ne suit pas un seul nombre, mais une distribution : ce qui compte n'est pas la moyenne, mais où ça casse.
- Quand un changement abaisse la qualité, c'est le test de régression qui le remarque, pas l'utilisateur.
- La confiance mesurée se partage ; l'intuition ne se partage pas, on tente seulement de la transmettre.
Qu'est-ce que l'eval et quel problème résout-il
L'eval est la discipline d'évaluation qui confronte de façon reproductible la sortie d'un système génératif à des critères prédéfinis. Le nom vient de l'anglais evaluation et s'est imposé dans le domaine sous cette abréviation. Le problème qu'il résout est simple mais profond : quand la qualité de la sortie est subjective, personne ne peut dire avec assurance si elle s'est améliorée.
Dans le logiciel traditionnel, la bonne réponse est le plus souvent unique. On additionne deux nombres ; le résultat tombe juste ou non. Avec une sortie générée, plusieurs réponses sont acceptables, de mauvaises réponses peuvent paraître raisonnables, et la même entrée peut donner des résultats différents à des moments différents. Sur ce terrain, « est-ce que ça marche » ne suffit plus ; il cède la place à « à quelle fréquence, à quel degré de qualité ».
Ce que fait l'eval, c'est mettre cette question molle sous une forme dénombrable. On rassemble des exemples du comportement attendu, on définit pour chacun ce qui compte comme succès, on fait tourner le système sur tout le jeu, et le résultat se réduit à un taux. Un seul essai brillant est une anecdote. Un taux cohérent sur des centaines d'exemples est une preuve. Toute la discipline est l'effort de convertir l'anecdote en preuve.
Il y a une distinction facile à manquer. L'eval n'existe pas pour mettre une note, mais pour suivre un changement. La valeur absolue d'une seule exécution dit souvent peu ; l'information réelle est dans l'écart entre deux exécutions. Après un changement, le taux a-t-il baissé, monté ou resté le même — la décision repose sur ces trois possibilités. C'est pourquoi l'eval n'est pas un examen ponctuel, mais un outil d'observation en maintenance continue.
De « ça a l'air bien » à la confiance mesurée
L'évaluation intuitive, c'est qu'une personne regarde quelques sorties et se fasse une impression générale. C'est rapide, bon marché et utile le premier jour. Le problème, c'est que cela ne scale pas. Quand change celui qui regarde, les critères changent ; on décide autrement fatigué que frais ; et personne ne peut affirmer que la sortie aimée hier a encore la même qualité aujourd'hui.
La confiance mesurée est le contraire. Le même jeu, les mêmes critères, un résultat que tout le monde peut voir. Elle ne repose pas sur l'humeur d'une personne, mais sur une définition partagée. Toute l'équipe regarde le même nombre et comprend la même chose. La confiance mesurée est la croyance sur la qualité d'une sortie fondée sur une mesure reproductible et vérifiable indépendamment de la personne.
Cette transition a généralement lieu dans un moment de crise. On fait un changement, quelque chose empire en silence, et personne ne le remarque que des jours plus tard, par une alerte externe. À cet instant, le coût de dire « ça a l'air bien » devient visible. Passé le point où l'intuition seule ne suffit plus, la mesure n'est pas un luxe ; c'est une nécessité. Les équipes qui font la transition l'ont souvent appris une fois au prix fort.
Jeter entièrement l'intuition serait aussi une erreur. Un œil expérimenté est souvent le premier à remarquer des bizarreries qu'un jeu ne capture pas. La bonne relation n'est pas d'opposer intuition et mesure, mais de convertir ce que trouve l'intuition en mesure. Quelqu'un sent qu'une sortie est mauvaise ; ce sentiment devient un exemple ; l'exemple entre dans le jeu et ne passe plus en silence. Ainsi une impression subjective devient une mesure durable et partageable. L'intuition découvre ; la mesure fixe.
Pourquoi traiter le jeu d'évaluation comme un actif
Un jeu d'évaluation est une compilation d'exemples choisis à dessein qui représentent le comportement attendu du système, avec le critère de succès de chacun. Un bon jeu ne se rassemble pas au hasard. Il équilibre cas faciles, cas limites, cas déjà cassés et cas délibérément difficiles.
Ce jeu est un actif aussi précieux que le code lui-même et doit être protégé comme tel. Il grandit avec le temps : chaque nouvel échec devient un nouvel exemple ajouté. Ainsi le même défaut a plus de mal à filtrer deux fois. Abandonner un jeu le dévalue lentement ; car si le monde change tandis que le jeu reste fixe, ce qu'il mesure ne correspond plus à la réalité.
La composition du jeu détermine l'honnêteté de la mesure. Un jeu rempli seulement d'exemples faciles produit un taux élevé mais trompeur. Un jeu qui ne représente pas l'usage réel cache les échecs de l'usage réel. Un compromis apparaît souvent : plus le jeu grossit, plus le signal se renforce, mais le coût de chaque exécution augmente aussi. C'est pourquoi les jeux sont souvent stratifiés ; un noyau petit et rapide tourne souvent, un ensemble large et lent tourne rarement.
Un autre danger est plus insidieux. Le jeu peut représenter de trop près les vues de l'équipe qui l'a construit. Alors la mesure ne mesure pas à quel point le système est bon dans le monde réel ; elle mesure ce que l'équipe croit bon. C'est pourquoi les bons jeux se nourrissent de l'usage réel : échecs vécus, entrées inattendues et cas marginaux y entrent régulièrement. Le jeu n'est pas une photo ; c'est un enregistrement vivant. Le tenir à jour est la seule façon de lier la mesure à la réalité ; car le monde continue de changer, et le jeu ne change que dans la mesure où l'on en prend soin.
Comment scorer une sortie sans une seule bonne réponse
Le côté le plus dur de la sortie générée, c'est que la bonne réponse n'est souvent pas unique. Un texte peut être bien écrit de trois façons différentes. Alors le scoring cesse d'être une simple vérification d'égalité et se divise en plusieurs approches. Chacune a des forces et des faiblesses.
| Approche de scoring | Force | Faiblesse |
|---|---|---|
| Correspondance exacte | Pas d'ambiguïté, résultat reproductible | Ne marche que sur les tâches à une seule bonne réponse |
| Contrôle par règles | Rapide, explicable, bon marché | Ne capture pas le langage souple ni l'intention |
| Comparaison à une référence | Mesure la similarité, voit le succès partiel | Choisir le seuil est subjectif |
| Évaluation humaine | Saisit les nuances et le contexte | Lente, coûteuse, variable selon la personne |
En pratique, une seule approche ne suffit pas. Là où la correspondance exacte convient, on l'utilise ; ailleurs on combine règles et comparaison à une référence ; et dans les cas les plus ambigus on valide la mesure avec un petit échantillon humain. L'important est de savoir quelle approche convient à quelle question. Un scoreur choisi pour la mauvaise tâche rapporte une confiance qui n'existe pas.
On oublie souvent qu'un scoreur automatique peut lui-même se tromper. Évaluer une sortie avec un autre système est rapide, mais cet évaluateur erre aussi ; parfois il donne une note haute à une mauvaise réponse. C'est pourquoi une pratique mature compare de temps à autre les décisions du scoreur au jugement humain. Le but est de mesurer à quel point la note automatique chevauche la note humaine. Si le chevauchement est faible, ce que nous mesurons n'est pas la qualité ; ce n'est que le caprice d'un autre système. Avant de faire confiance au scoreur, il faut évaluer le scoreur lui-même.
Étapes pour rendre l'évaluation reproductible et systématique
La reproductibilité n'est pas un hasard ; c'est le résultat d'un ordre. Pour qu'une évaluation mesure la même chose à chaque fois, il faut préserver une certaine séquence d'opérations. La séquence ci-dessous décrit cet ordre au niveau des principes.
- D'abord définir par écrit, indépendamment de la personne, ce qui compte comme succès et comme échec.
- Rassembler des exemples du comportement attendu et attacher à chacun un critère clair.
- Faire tourner le jeu ; enregistrer le résultat comme une distribution, pas seulement comme un seul taux.
- Comparer à l'exécution précédente ; marquer une baisse comme régression, une hausse comme amélioration.
- Ajouter chaque nouvel échec au jeu comme nouvel exemple pour qu'il ne passe plus en silence.
- Faire de cette boucle une partie de chaque changement significatif ; pas une cérémonie à part, mais une étape de routine.
Au cœur de ces étapes se tiennent quelques concepts. Les séparer clarifie la discussion.
- Test de régression
- Évaluation exécutée contre un jeu fixe qui mesure si un comportement qui fonctionnait auparavant se casse après un changement.
- Ligne de base
- Résultat précédent accepté auquel se comparent les mesures suivantes ; le point zéro à partir duquel on mesure amélioration et régression.
- Angle mort
- Type d'échec que le jeu ne représente pas et donc ne mesure pas, et qui n'apparaît que dans l'usage réel.
La force de cette séquence est sa simplicité et son invariance. Les étapes suivent le même ordre à chaque fois ; c'est ce qui rend deux exécutions vraiment comparables. Quand l'ordre se brise, la mesure perd son sens en silence : deux résultats pris avec des critères et des exemples différents ne se comparent pas. Le vrai coût de la reproductibilité est la discipline ; appliquer les mêmes étapes à chaque changement, même quand c'est ennuyeux, sans sauter. Cet ennui n'est pas un défaut ; c'est une garantie. Une mesure régulière et invariable est fiable précisément parce qu'elle est prévisible.
Ce qui devient difficile quand la mesure devient une culture
Construire un outil d'évaluation est facile ; faire de l'évaluation une culture est difficile. L'outil est un événement qui se termine avec une exécution. La culture est une habitude où aucun changement significatif ne passe sans être mesuré. La seconde demande bien plus que la première : une définition partagée de la qualité, une responsabilité sur le jeu, et une discipline qui refuse d'ignorer un chiffre bas.
À mesure que le domaine mûrit, le centre de gravité de la mesure se déplace. Au début la question était « le système marche-t-il ». Désormais c'est de plus en plus « d'où sait-on à quel point il marche bien ». C'est une question plus profonde et plus inconfortable, car la réponse ne se donne pas par intuition. Ce qui devient dur, c'est d'écrire clairement la définition même de la qualité ; car la plupart des équipes sentent ce qu'elles trouvent bon mais ne savent pas le décrire.
Cette obligation de décrire produit un effet secondaire inattendu. Pour construire un jeu, il faut écrire ce qui compte comme bon ; l'écrire force l'équipe, souvent pour la première fois, à s'accorder sur une définition partagée de la qualité. La vraie valeur de la mesure est parfois non dans le nombre lui-même, mais dans la conversation nécessaire pour y arriver. Construire l'évaluation fait remonter des hypothèses silencieuses.
Une seconde difficulté concerne la portée de la mesure. Un jeu ne mesure que les cas pensés ; il ne peut pas mesurer le non pensé. C'est pourquoi un danger insidieux est de faire confiance à un chiffre mesuré élevé et d'oublier que des angles morts existent. Une culture d'évaluation mature fait confiance au chiffre tout en demandant sans cesse ce qu'il ne couvre pas. La direction est claire : la confiance n'est plus une impression ; elle devient un actif en maintenance. Le construire est une fois ; le soutenir est un travail de chaque jour.
FAQ