Intent-Treue ist eine messbare Eigenschaft, die zeigt, wie viel der beschriebenen Absicht wirklich im generierten Ergebnis erscheint. Sie ist die Überlappungsrate zwischen einem in einem Satz genannten Zweck und der Ausgabe, die in deinen Händen landet; ist sie vollständig, fällt sie nicht auf, und sinkt sie, taucht sie als Gefühl auf, dass „die KI nicht versteht, was gewollt war“.
Dieser Text behandelt den Begriff nicht als Anklage, sondern als Maß. Die Diskrepanz zwischen Beschreibung und Ausgabe ist oft kein Defekt, sondern das natürliche Ergebnis von Treue, die austritt, während Absicht in Beschreibung und Übertragung übergeht. Wichtig ist, sehen zu können, wo dieser Austritt entsteht.
- Intent-Treue ist die Überlappungsrate zwischen dem genannten Zweck und dem generierten Ergebnis.
- Verlust entsteht an zwei Stellen: beim Übersetzen der Absicht in eine Beschreibung und beim Übertragen der Beschreibung in ein Ergebnis.
- Treue ist kein abstraktes Gefühl; sie ist eine beobachtbare, messbare Eigenschaft.
- Eine vage Beschreibung erzeugt vage Ausgabe; die Seite, die die Lücke schafft, ist oft nicht die, die sie füllt.
- Was die Kluft verengt, ist nicht eine längere Beschreibung, sondern eine engere Feedback-Schleife.
- Wird Treue nicht gemessen, gilt niedrige Treue meist als Unfähigkeit des Werkzeugs.
Was Intent-Treue ist und was sie misst
Intent-Treue beschreibt, wie weit der Zweck im Kopf im generierten Ergebnis erhalten bleibt. Auf der einen Seite steht, was jemand wirklich wollte; auf der anderen, was in den Händen landet. Je kleiner der Abstand zwischen beiden, desto höher die Treue. Dieser Abstand geht nicht auf null, aber er kann sich verengen.
Der Wert des Begriffs liegt darin, eine vage Beschwerde in eine messbare Größe zu verwandeln. „Das Ergebnis war nicht wie gewollt“ meldet ein Gefühl; Intent-Treue fragt, wo und wie stark dieses Gefühl entstand. So verlässt die Diskussion das Beschuldigen des Werkzeugs und wendet sich der Karte des Verlusts zu. Ein Gefühl lässt sich nicht verteidigen; auf einer Karte lässt sich streiten.
Hier gibt es eine feine, aber wichtige Unterscheidung. Niedrige Treue bedeutet nicht Unfähigkeit des Produzierenden. Oft trägt die Beschreibung nur einen Teil der Absicht; der Rest bleibt ungesagt im Kopf des Beschreibenden. Die produzierende Seite sieht nur das Gesagte, nicht das Gemeinte. Deshalb ergibt selbst fehlerfreie Produktion aus unvollständiger Beschreibung ein unvollständiges Ergebnis.
Treue als Eigenschaft zu sehen macht sie verbesserbar. Ein Gefühl lässt sich nicht messen, aber eine Rate lässt sich messen, verfolgen und mit der Zeit heben. Deshalb muss der Begriff als benannte Definition etabliert werden: ein Verlust ohne Namen ist ein Verlust, der sich nicht steuern lässt.
Wie Absicht beim Übergang in die Beschreibung verloren geht
Der erste Verlust geschieht im Moment, in dem Absicht in Worte gefasst wird. Der Zweck im Kopf ist reich, mehrdimensional und weitgehend wortlos. Beschreibung ist ein flacher Kanal; dieser reiche Zweck muss durch die Enge weniger Sätze. Jedes Detail, das nicht durchkommt, fällt still weg.
Eine Ursache dieses Falls ist vorausgesetztes Wissen. Wer beschreibt, fühlt keine Notwendigkeit, Beschränkungen zu nennen, die im eigenen Kopf offensichtlich sind. Die andere Seite sieht diese Beschränkungen nicht; sie liest nur das Geschriebene. Jede ungesagte Annahme gilt für den Produzierenden als nicht existent. Die kritischsten Teile der Absicht stecken oft genau in diesen ungesagten Annahmen.
Die zweite Ursache ist Mehrdeutigkeit. Formulierungen wie „ein schlichtes Aussehen“ oder „ein schneller Fluss“ tragen für den Beschreibenden eine Bedeutung und für den Produzierenden eine ganze Bandbreite. Eine vage Beschreibung zwingt den Produzierenden, die Lücke mit der eigenen Annahme zu füllen. Das Ergebnis ist oft vernünftig, aber nicht das Gemeinte. Hier hat niemand einen Fehler gemacht; die Treue ist trotzdem gesunken.
Die dritte Ursache ist, dass Absicht im Moment des Beschreibens auch für die Person selbst unscharf ist. Menschen wissen oft klarer, was sie nicht wollen, als was sie wollen. Deshalb ist die erste Beschreibung eigentlich eine Vermutung; sie klärt sich erst vor einem Gegenbeispiel. Diese innere Unsicherheit im Moment des Beschreibens ist die am wenigsten bemerkte, aber tiefste Quelle des Verlusts.
Warum Treue schmilzt, wenn Beschreibung zu Ausgabe wird
Der zweite Verlust geschieht während der Übertragung, selbst wenn die Beschreibung vollständig ist. Eine Beschreibung muss interpretiert werden, und jede Interpretation enthält eine Wahl. Die produzierende Seite schließt jede Lücke in der Beschreibung mit einer Annahme; welche davon richtig ist, steht oft nicht in der Beschreibung. Je mehr Interpretation, desto höher die Chance, von der Absicht abzuweichen.
Eine weitere Schmelzquelle ist, die Beschreibung in Teile zu zerlegen und wieder zusammenzufügen. Während ein langer Zweck Schritt für Schritt verarbeitet wird, kann jeder Schritt in sich stimmig sein; die Summe der Schritte kann dennoch von der ursprünglichen Absicht abweichen. Lokale Korrektheit garantiert keine globale Treue. Teile können einzeln treffen und das Ganze trotzdem am falschen Ort ankommen.
Ein weiterer Faktor, der Treue in der Übertragung schmilzt, ist der Kontextabstand zwischen Beschreibendem und Produzierendem. Dasselbe Wort weckt auf beiden Seiten zwei verschiedene Assoziationen. Wer „sauber“ sagt, meint eines; wer produziert, liest das Wort aus einer anderen Geschichte. Treue bleibt soweit erhalten, wie Assoziationen, nicht Wörter, überlappen.
Der letzte Faktor, der Treue in der Übertragung schmilzt, ist verzögertes Feedback. Geht der Beschreibende weiter, ohne das Ergebnis zu sehen, wächst eine kleine Abweichung unbemerkt. Ein leichtes Missverständnis im ersten Schritt vervielfacht sich in jedem späteren. Deshalb ist Treueverlust oft nicht ein großer Einzelfehler, sondern die Summe kleiner unbemerkter Abweichungen.
Wie Intent-Treue zu einer messbaren Eigenschaft wird
Um Treue zu messen, muss man sie zuerst beobachtbar machen. Der schlichteste Weg ist, das generierte Ergebnis mit der wirklichen Absicht des Beschreibenden zu vergleichen und überlappende und abweichende Punkte einzeln zu markieren. Diese Markierung verwandelt abstrakte Unzufriedenheit in eine konkrete Abweichungsliste.
Das zweite Maß ist die Zahl der Korrekturen. Wie oft eine Absicht neu beschrieben werden musste, um zum gewünschten Ergebnis zu kommen, ist ein indirekter Indikator für Treue. Eine Beschreibung, die sich in wenigen Runden nähert, hat Absicht gut getragen; eine, die viele Runden braucht, hat von Anfang an viel durchsickern lassen. Die Rundenzahl spiegelt die Größe des Verlusts indirekt, aber zuverlässig.
Das dritte Maß ist die Art der Abweichung. Nicht jede Abweichung ist gleich; manche sind oberflächlich und leicht zu korrigieren, manche berühren den Kern der Absicht. Abweichungen beim Messen der Treue nach Gewicht zu trennen zeigt, welcher Verlust wirklich zählt. Die Tabelle unten vergleicht zwei Messansätze.
| Dimension | Intuitive Bewertung | Gemessene Treue |
|---|---|---|
| Urteil über Ausgabe | Ein allgemeines Zufriedenheitsgefühl | Abweichungen einzeln markiert |
| Ort des Verlusts | Unklar, oft dem Werkzeug angelastet | Getrennt: Beschreibung oder Übertragung |
| Nachverfolgbarkeit | Von Runde zu Runde vergessen | Über Korrekturzahl festgehalten |
| Gewicht der Abweichung | Alle wirken gleich | In oberflächlich und kernhaft geteilt |
| Verbesserung | Dem Versuch und Irrtum überlassen | Über das Maß gesteuert |
Das gemeinsame Ziel dieser Maße ist, Treue von einem Gefühl zu einer Zahl zu bewegen. Auch wenn die Zahl unvollkommen ist, zeigt sie Richtung: steigt der Verlust, sinkt er, wo er sich verdichtet. Was gemessen wird, lässt sich steuern; ungemessener Verlust lastet dauernd dem Werkzeug auf.
Wie die Kluft zwischen Beschreibung und Ausgabe zu verengen ist
Der erste Weg, die Kluft zu verengen, ist aufzuhören, Absicht auf einmal vollständig beschreiben zu wollen. Der menschliche Geist klärt Gewolltes nicht in einer abstrakten Beschreibung, sondern vor einem konkreten Gegenbeispiel. Deshalb erzeugen eine kurze Beschreibung, eine frühe Ausgabe und eine schnelle Korrektur höhere Treue als eine lange erste Beschreibung.
Der zweite Weg ist, ungesagte Annahmen sichtbar zu machen. In einer Beschreibung sitzt der meiste Verlust in nie geschriebenen Beschränkungen. Sie klar zu nennen verringert die Lücken, die der Produzierende füllen muss. Zu sagen, was nicht gewollt ist, ist oft informativer als zu sagen, was gewollt ist.
Die folgende Folge beschreibt auf Prinzipienebene die Feedback-Schleife, die die Kluft verengt.
- Beschreibe Absicht nicht als vollständig, sondern als prüfbaren Kern.
- Nimm eine frühe Ausgabe und vergleiche sie mit dem wirklichen Zweck.
- Markiere überlappende und abweichende Punkte getrennt.
- Wähle die schwerste Abweichung und korrigiere die Beschreibung nur darüber.
- Wiederhole die Schleife kurz, bis die Abweichung oberflächlich bleibt.
Der Kern dieser Schleife ist, Verlust früh zu fangen. Spät bemerkte Abweichung vervielfacht sich; früh bemerkte ist billig. Treue steigt nicht mit einer einzigen perfekten Beschreibung, sondern mit kurzen Runden schneller Korrektur. Jede Runde bringt die Beschreibung der Absicht etwas näher; die Kluft schließt sich nicht, aber sie verengt sich.
- Intent-Treue
- Eine beobachtbare, verbesserbare Rate, die zeigt, wie weit der beschriebene Zweck im generierten Ergebnis erhalten bleibt.
- Beschreibungsverlust
- Der Teil der Absicht im Kopf, der wegen Annahme und Mehrdeutigkeit beim In-Worte-Fassen nicht in die Beschreibung übergeht.
- Übertragungsverlust
- Abweichung aus Entscheidungen beim Interpretieren und Umsetzen in ein Ergebnis, selbst wenn die Beschreibung vollständig ist.
- Gegenbeispiel
- Feedback, das Absicht klärt, indem es Ungewolltes statt einer positiven Beschreibung zeigt, und Treue schnell hebt.
Wohin Intent-Treue als Maß reift
Je billiger Produktion wird, desto knapper ist nicht mehr Produzieren, sondern Absicht mit Treue zu tragen. Wird ein Ergebnis leicht zu bekommen, öffnet sich die echte Trennung zwischen denen, die das gewünschte Ergebnis bekommen, und denen, die sich mit einem vernünftigen, aber falschen begnügen. Treue ist das stille Maß dieser Trennung.
Eine wahrscheinliche Richtung ist, dass Treue von Anfang an eine gemessene Eigenschaft wird. Was heute oft anhand der Ausgabe mit Intuition beurteilt wird, kann morgen ein Maß werden, das Ort und Gewicht der Abweichung zeigt. Was schwer wird, ist nicht Produzieren; es ist rechtzeitig zu unterscheiden, ob Verlust in der Beschreibung oder in der Übertragung entstand.
Ein Zeichen dieser Reifung ist, dass die Fähigkeit zu beschreiben selbst als Kompetenz zählt. Absicht klar, begrenzt und prüfbar sagen zu können wird entscheidender als Werkzeugwissen. Vage Beschreibung wird weiter vage Ergebnisse erzeugen; der Abstand vertieft sich zwischen denen, die die Kosten dieser Vagheit früh sehen, und denen, die es nicht tun. Was bleibt, ist nicht eine einzige makellose Beschreibung, sondern das Urteil, das eine Schleife bauen kann, die Verlust früh fängt und verengt.
F.A.Q.