意图保真度是一项可测属性,表明你所描述的意图有多少真正体现在生成结果中。它是一句话说明的目的与最终到手输出之间的重合率;完整时不易察觉,下降时则浮现为「人工智能不懂想要什么」的感觉。
本文把这一概念当作尺度,而非指责。描述与输出不符,往往不是故障,而是意图在进入描述与传递时忠诚度自然泄漏的结果。重要的是能看出泄漏发生在何处。
- 意图保真度是所说目的与生成结果之间重合的比率。
- 损失发生在两处:把意图写成描述时,以及把描述传递为结果时。
- 保真度不是抽象感觉,而是可观察、可测量的属性。
- 模糊的描述产生模糊的输出;制造空白的一方,往往不是填补空白的一方。
- 收窄鸿沟的不是更长的描述,而是更紧的反馈循环。
- 保真度未被测量时,低保真度通常被误认为工具无能。
意图保真度是什么,测的是什么
意图保真度描述心中目的在生成结果中被保留到何种程度。一边是某人真正想要的;另一边是最终到手的。两者距离越小,保真度越高。这距离不会到零,但可以收窄。
概念的价值在于把模糊抱怨变成可测的量。「结果不像想要的」表达一种感觉;意图保真度则追问这种感觉在何处、有多大。于是讨论离开指责工具,转向绘制损失地图。感觉无法争辩;地图上则可以讨论。
这里有细微但重要的区分。低保真度并不意味着生产者无能。多数时候描述只携带意图的一部分;其余留在描述者脑中,从未说出。生产方只看见说出的,看不见意指的。因此即便完美的生产,也会从残缺的描述得出残缺的结果。
把保真度看作属性,才能改进它。感觉无法测量,但比率可以测量、跟踪并随时间提高。因此需要把这一概念确立为有名定义:未命名的损失,是无法管理的损失。
意图在写成描述时如何丢失
第一次损失发生在把意图说成话的瞬间。心中目的丰富、多维,大部分无言。描述却是平坦通道;必须把那丰富目的挤过几句话的狭窄。通不过的每一细节都悄然落下。
落下的一个原因是默认知识。描述者觉得自己脑中显而易见的约束不必说出。对方却看不见那些约束;只读写下的。每一个未说的假设,对生产者都等于不存在。意图最关键的部分,往往正藏在这些未说假设里。
第二个原因是含糊。「简洁外观」或「快速流程」之类说法,对描述者只携带一种含义;对生产者却是一整片含义范围。模糊描述迫使生产者用自己的假设填补空白。结果往往合理,却不是描述者所指。这里没有人犯错;保真度仍然下降。
第三个原因是,在描述瞬间意图对本人也模糊。人往往比清楚想要什么,更清楚不想要什么。因此第一次描述其实是猜测;未见反例之前不会清晰。描述瞬间的这种内在不确定,是损失最不被察觉却最深的源头。
描述变成输出时保真度为何融化
第二次损失即使描述完整,也会在传递中发生。描述必须被解释,而每次解释都包含选择。生产方用假设填补描述中的每一空隙;这些假设哪个正确,描述里往往没写。解释越多,偏离意图的可能越大。
另一个融化来源是把描述拆成部分再拼回。长目的逐步处理时,每一步自身可以一致;但步骤总和可能偏离最初意图。局部正确不保证全局保真。各部分各自命中时,整体仍可能落到错误之处。
传递中融化保真度的另一因素,是描述者与生产者之间的语境差。同一词语在两边唤起两种联想。描述者说「干净」意指一事;生产者从另一种经历读这个词。保真度在联想——而非词语——重合的程度上被保存。
传递中融化保真度的最后因素是反馈延迟。描述者若未见结果就推进,小偏差会在未被察觉时放大。第一步的轻微误解,在后续每一步倍增。因此保真度损失往往不是一次大错,而是未被察觉的小偏差之和。
意图保真度如何变成可测属性
要测量保真度,先要让它可观察。最直接的路是把生成结果与描述者真实意图对照,逐一标出重合与偏离点。这种标注把抽象不满变成具体偏离清单。
第二个尺度是修正次数。一个意图要到达想要的结果需要重新描述多少次,是保真度的间接指标。少轮次就接近的描述,较好地承载了意图;需要很多轮的描述,一开始就泄漏很多。轮次间接但可靠地反映损失大小。
第三个尺度是偏离类型。并非每种偏离相等;有些浮于表面、易修,有些触及意图核心。测量保真度时按重量区分偏离,才能看出哪种损失真正重要。下表比较两种测量方式。
| 维度 | 直觉式评估 | 测得的保真度 |
|---|---|---|
| 对输出的判断 | 笼统的满意感 | 逐一标出偏离 |
| 损失位置 | 模糊,常推给工具 | 区分描述还是传递 |
| 可追踪性 | 轮次间被遗忘 | 用修正次数记录 |
| 偏离重量 | 看起来都一样 | 分为表面与核心 |
| 改进 | 交给试错 | 由尺度引导 |
这些尺度的共同目的,是把保真度从感觉推向数字。数字即便不完美,也指示方向:损失在增还是减、集中在何处。被测量的才能被管理;未测量的损失则持续压在工具背上。
如何收窄描述与输出之间的鸿沟
收窄鸿沟的第一条路,是放弃一次就完整描述意图。人脑不是在抽象描述中,而是在具体反例面前,才把想要的弄清楚。因此短描述、早输出、快修正,比漫长的首次描述产生更高保真度。
第二条路是让未说假设可见。描述中最多损失藏在从未写下的约束里。明确说出这些约束,减少生产者必须填补的空白。说出不想要什么,往往比说出想要什么更有信息量。
下面的顺序在原则层面描述收窄鸿沟的反馈循环。
- 把意图描述为可检验的核心,而非完整。
- 尽早拿到输出,并与真实目的对照。
- 分别标出重合与偏离点。
- 选出最重的偏离,仅据此修正描述。
- 把循环保持简短,直到偏离停留在表面。
这一循环的核心是及早抓住损失。晚发现的偏离会倍增;早发现的偏离便宜。保真度不是靠一次完美描述升高,而是靠快速修正的短轮次。每轮让描述更接近意图;鸿沟不会合上,但会收窄。
- 意图保真度
- 表明所述目的在生成结果中被保留到何种程度的、可观察且可改进的比率。
- 描述损失
- 心中意图在落成语言时,因假设与含糊而未能进入描述的部分。
- 传递损失
- 即便描述完整,在解释并转为结果时所做选择带来的偏离。
- 反例
- 不用正面描述,而通过展示不想要的来澄清意图、并迅速提高保真度的反馈。
作为尺度的意图保真度正在走向何处
生产变便宜时,稀缺的不再是生产,而是带着保真度承载意图。得到一个结果变容易时,真正的分野开在能拿到想要结果的人,与满足于合理但错误结果的人之间。保真度是这一分野的安静尺度。
可能的方向是,保真度从一开始就成为被测量的属性。今天常凭直觉看输出下判断的东西,明天可能变成标出偏离位置与重量的尺度。变难的不是生产;而是及时分辨损失发生在描述还是传递。
这一成熟的一个标志,是描述技能本身被视为一种能力。能把意图说得清晰、有边界、可检验,正变得比工具知识更有决定性。模糊描述会继续产生模糊结果;分野加深于能早看见这种模糊成本的人与不能的人之间。持久的不是一次完美描述,而是能建立及早抓住并收窄损失之循环的判断力。
F.A.Q.
