Niyet sadakati, ne demek istediğinin bir yapay zeka sisteminin ürettiğine ne kadarının ulaştığıdır. Anlam iki yerde sızar: niyetini kelimelere döktüğünde ve sistem bu kelimeleri çıktıya çevirdiğinde. Sadakati kısa döngülerle yükseltirsin: sınanabilir bir çekirdek tarif et, erken bir sonucu gözden geçir, en büyük sapmayı düzelt ve tekrarla.
- Niyet sadakati, kafandaki amaç ile elindeki sonuç arasındaki örtüşmedir.
- Tarif kaybı, söylenmemiş varsayımlar ve belirsiz sözcükler isteğe hiç girmediğinde olur.
- Aktarım kaybı, sistemin boşlukları kendi makul varsayılanlarıyla doldurmasıyla olur.
- Sadakat ölçülebilir: olmazsa olmazları listele, gelenleri say, eksik olanı tart.
- Bir seferde bir büyük sapmayı düzelten kısa turlar, tek uzun ve kusursuz görünen bir tariften iyidir.
Niyet sadakati neyi ölçer?
Niyet sadakati, zihnindeki amacın üretilen sonuçta ne kadar korunduğunu anlatır. Bir tarafta gerçekten istediğin var, diğer tarafta gelen. Mesafe ne kadar küçükse sadakat o kadar yüksek. Mesafe hiçbir zaman sıfıra inmez ama bilinçli olarak daraltılabilir.
Fikir üretken yapay zekadan eski. 1986'da Ed Hutchins, Jim Hollan ve Don Norman, bir sistemin her kullanıcısının geçmesi gereken, sonradan Norman'ın The Design of Everyday Things kitabıyla yaygınlaşan iki uçurumu tarif etti. Nielsen Norman Group'un özetlediği gibi, yürütme uçurumu bir hedefe ulaşmak için harekete geçmenin zorluğu, değerlendirme uçurumu ise sistemin durumunu anlamanın zorluğudur. Bir yapay zeka modeline prompt yazmak seni aynı anda iki tarafa koyar: hedefini sistemin harekete geçeceği sözcüklerle ifade etmeli, sonra sonucun kastettiğinle eşleşip eşleşmediğini yargılamalısın.
Sadakati adlandırmanın değeri, belirsiz bir şikâyeti üzerinde çalışabileceğin bir şeye çevirmesidir. "Yapay zeka beni anlamıyor" bir hissi bildirir. Anlamın nerede ve ne kadar kaybolduğunu sormak bir harita üretir ve harita düzeltilebilir.
Düşük sadakat aracın yetersiz olduğu anlamına gelmez. Çoğu zaman tarif niyetin yalnızca bir kısmını taşımıştır ve geri kalanı tarif edenin kafasında kalmıştır. Sistem yalnızca söyleneni görür. Eksik bir tarifin kusursuz yürütülmesi bile eksik bir sonuç verir.
Niyet tarife dökülürken nasıl kaybolur?
İlk kayıp, niyet kelimelere döküldüğünde olur. Zihnindeki amaç zengin ve çoğunlukla dile getirilmemiş; bir istek ise dar bir kanaldır. Sığmayan her şey sessizce düşer. Üç neden öne çıkar.
Varsayılan bilgi. Sana bariz gelen kısıtları söylemezsin. Bir pastane sahibi siparişlerin bir önceki gün saat 14.00'te kapandığını bilir; bunu söylemek aklına gelmez. Sistem o kuralı göremez; bu yüzden pratikte yoktur. Anthropic'in prompt rehberi yararlı bir kontrol sunuyor: "altın kuralı", prompt'unu konuyla ilgili asgari bağlama sahip bir iş arkadaşına gösterip onu izlemesini istemek; o kafası karışırsa model de karışır.
Belirsizlik. "Temiz", "modern" ya da "sade" gibi sözcükler sana bir şey, başkasına bir yelpaze ifade eder. Belirsiz bir sözcük sistemi seçim yapmaya zorlar ve seçimi çoğu zaman makuldür, yine de kastettiğin şey değildir. Kimse hata yapmamıştır ve sadakat yine de düşmüştür.
Oluşmamış niyet. İnsanlar çoğu zaman neyi istemediklerini, neyi istediklerinden daha net bilir. İlk tarif, bir karşı örnek görene kadar keskinleşmeyen bir tahmindir. Bu, en az fark edilen ve en derin kayıp kaynağıdır; çünkü henüz oluşmamış bir niyeti hiçbir titiz ifade düzeltemez.
Tarif çıktıya dönüşürken anlam nasıl kayar?
İkinci kayıp, tarif eksiksiz olsa bile olur; çünkü her tarifin yorumlanması gerekir.
Varsayılanlar boşlukları doldurur. Her istek düzinelerce ayrıntıyı açık bırakır: renkler, ifadeler, bölümlerin sırası, bir form gönderildikten sonra ne olacağı. Yetkin bir sistem her biri için durup sormak yerine bunları makul varsayılanlarla doldurur. Bu çoğu zaman yararlıdır ve her varsayılan, niyetinin sessizce ortalama durumla değiştirilebileceği bir yerdir.
Parçalar bütünden kayar. Uzun bir istek parçalar halinde işlenir. Her parça yerel olarak doğru olabilirken toplam asıl amaçtan kayar: sitenin her sayfası brife uyar, yine de site bütün olarak başka bir kitleye hitap ediyor gibi hissettirir.
Sözcükler farklı çağrışımlar taşır. Aynı sözcük her tarafta farklı şeyleri çağrıştırır. Sadakat, yalnızca kelime dağarcığı değil, çağrışımlar örtüştüğü ölçüde korunur.
Çalıştırmalar arası değişim. Üretken sistemler örnekleme yapar; bu yüzden aynı istek farklı denemelerde farklı sonuçlar verebilir. Bu sorun üretimde tekrar üretilebilirlik yazısında inceleniyor. Kesin biçimde belirtilmeyen bir gereklilik bir çalıştırmada görünüp bir sonrakinde kaybolabilir.
Niyet sadakati nasıl ölçülür?
Sadakati ölçmek için onu gözlenebilir kıl. Bir sonuca bakmadan önce kısa bir olmazsa olmazlar listesi yaz: eksik olursa sonucun başarısız sayılacağı şeyler. Sonra çıktıyı listeyle, madde madde karşılaştır.
Yine pastaneyi alalım. Site için olmazsa olmazları: fiyatlı menü, çalışma saatleri, ön sipariş formu, 14.00 kapanışı, harita bağlantılı adres ve eve teslimat izlenimi veren hiçbir şey (teslimat yapmıyor). İlk sürüm altı maddenin beşini doğru yapmış ama alt bilgide "hızlı teslimat" geçiyor. Bu altıda beş başarı değil; teslimat satırı çekirdek bir sapma, çünkü kızgın telefon çağrıları doğuracak. Ağırlık, sayı kadar önemli.
İki sinyal daha yardımcı olur. Kabul edilebilir bir sonuca ulaşmak için gereken tur sayısı, başta ne kadar niyetin sızdığını gösterir. Her sapmanın türü, yüzey (bir renk, bir sözcük) ya da çekirdek (yanlış bir kural, eksik bir adım), sorunun cila mı yoksa anlayış mı olduğunu gösterir.
| Boyut | Hisle yargılamak | Sadakati ölçmek |
|---|---|---|
| Çıktı nasıl yargılanır | Genel bir memnuniyet hissi | Her olmazsa olmaz tek tek kontrol edilir |
| Kayıp nereye konur | Genellikle araca yüklenir | Tarif kaybı ya da aktarım kaybı olarak ayrılır |
| Turlar arası hafıza | Denemeler arasında unutulur | Tur sayısı ve açık maddelerle izlenir |
| Sapmaların ağırlığı | Hepsi aynı hissettirir | Yüzey ve çekirdek olarak ayrılır |
| Sonraki adım | Deneme yanılma | En ağır açık maddeyi düzelt |
Bunu ölçekte uygulayan ekipler aynı fikri üretilen çıktı için eval disiplininde anlatılan değerlendirme kümeleri olarak resmileştirir.
Tarif kaybı mı, aktarım kaybı mı: hangisine sahipsin?
Çözüm anlamın nerede sızdığına bağlı ve basit bir test bunu söyler. Her sapma için kendi isteğini yeniden oku ve sor: Bunu gerçekten söyledim mi?
- Tarif kaybı
- Gereklilik isteğinde yok ya da yalnızca belirsiz biçimde belirtilmiş. Tarifi düzelt: eksik kuralı sade sözcüklerle ekle.
- Aktarım kaybı
- Gereklilik açıkça belirtilmiş ve yine de gözden kaçmış. Onu kısa, ayrı bir talimat olarak yeniden söyle, en üste taşı ya da doğru yapılmış bir örneğini göster.
- Karşı örnek
- İstenmeyeni gösteren geri bildirim. Henüz tarif edemediğin bir niyeti keskinleştirmenin çoğu zaman en hızlı yolu.
Bu kontrolü dürüstçe yaparsan kuralın hiç söylenmediğini sık sık göreceksin. Bu iyi haber; çünkü tarif kaybı kontrol edebildiğin kısımdır. Üretmeden önce gereklilikleri yazmanın bu kadar güvenilir biçimde karşılığını vermesinin nedeni de bu; şartname odaklı geliştirmenin ana savı budur.
Tarif ile çıktı arasındaki uçurum nasıl daraltılır?
Her şeyi tek seferde tarif etmeye çalışmayı bırak. İnsanlar ne istediklerini somut bir şeyin önünde netleştirir; bu yüzden kısa bir tarif, erken bir sonuç ve hızlı bir düzeltme, uzun bir ilk istekten daha yüksek sadakat üretir. İstemediğini söylemek, istediğin hakkında sıfat eklemekten çoğu zaman daha bilgilendiricidir; aynı alışkanlık yeni darboğaz olarak beğeni yazısının merkezinde yer alır.
Uçurumu daraltan bir geri bildirim döngüsü:
- Sınanabilir bir çekirdek tarif et: kimin için, ne yapabilmeleri gerektiği ve geçerli olması gereken üç ila beş kural.
- Sana bariz gelen kısıtları açıkça belirt; görünmemesi gerekenler dahil.
- Varsa bir referans ekle ve ondan neyi alacağını söyle.
- İlk sonucu olmazsa olmaz listene göre gözden geçir ve her maddeyi mevcut, eksik ya da yanlış diye işaretle.
- En ağır sapmayı seç ve yalnızca onu, tek net bir cümleyle düzelt.
- Kalan sapmalar yüzeysel olana kadar tekrarla, sonra sonucu gerçek bir kullanıcı gibi test et.
Döngünün özü, kaybı erken yakalamak. Birinci turda bulunan bir sapma ucuzdur; aynı sapma beş tur sonra bulunduğunda üstüne başka kararlar kurulmuştur. Hazır başlangıç noktaları için yapay zeka site oluşturucu prompt şablonlarımız olmazsa olmazlar ve dışlamalar için alanlar içeriyor.
Her tur yavaş ya da sınırlıysa bir ayar: en ağır iki üç sapmayı birlikte düzelt ama her birine kendi kısa cümlesini ver; böylece hangi talimatın işe yaradığını yine ayırt edebilirsin.
Uygulamalı örnek: tek istek, üç tur
Daha önceki pastane sahibinin sitesini bir yapay zeka oluşturucuyla kurduğunu düşün.
Birinci tur. İsteği: menü ve fiyatlar, çalışma saatleri, ön sipariş formu ve harita bağlantısı olan, küçük bir mahalle pastanesi için samimi bir web sitesi. Sonuç güzel görünüyor. Listesine göre kontrol edince üç sapma buluyor: alt bilgi "hızlı teslimat" vaat ediyor (çekirdek), ön sipariş formu müşterilerin akşam 18.00'de ertesi günün tarihini seçmesine izin veriyor (çekirdek) ve başlık genel (yüzey).
Teşhis. İsteğini yeniden okuyor. Teslimat yapmadığını hiç söylememiş ve 14.00 kapanışından hiç bahsetmemiş. İki çekirdek sapma da tarif kaybı: o kadar iyi bildiği için söylemesi gerektiğini unuttuğu kurallar.
İkinci tur. Tek mesaj, iki ayrı cümle: "Teslimat yapmıyoruz; teslimatla ilgili her ifadeyi kaldır ve sipariş düğmesinin yanına 'yalnızca gel-al' yaz. Ön siparişler teslim gününden bir gün önce saat 14.00'te kapanıyor; bu yüzden form kapanmış bir tarih sunmasın." İkisi de düzeliyor.
Üçüncü tur. Yalnızca yüzey maddesi kalıyor. Genel başlığı kendi cümlesiyle değiştiriyor ve ardından bir müşterinin yapacağı gibi telefonundan deneme siparişi veriyor.
Üç tur ve gerçek sorun çıkaracak iki problem, karşılaştıracak bir listesi olduğu için ilk gözden geçirmede yakalandı. Liste olmasaydı teslimat satırı kolayca yayına çıkabilirdi.
WisyLink ile üretirken niyet sadakatini yükselt
WisyLink bir sohbeti barındırılan bir web uygulamasına ya da siteye çevirir ve çalışma biçiminin birkaç parçası yukarıdaki döngüyle doğrudan örtüşür.
- Tahmin etmeden önce sorar. Sohbet asistanı Wisy, önemli bir şey eksikse bir seferde tek kısa soru sorar ve makul biçimde kendisinin seçebileceği ayrıntılara kendisi karar verir. Önemsediğin ayrıntıları baştan söyle; böylece varsayılanlara bırakılmazlar.
- Anlatmak yerine gösterebilirsin. Ekran görüntüsü, PDF menü ya da ürün tablosu gibi referans dosyalarını, her biri en fazla 25 MB olacak şekilde ekle ve onlardan neyi alacağını söyle.
- Her düzeltme tek mesaj. Aynı sohbetteki takipler uygulamayı yeniden oluşturur ve başarısız bir oluşturma canlı sürümün yerini hiçbir zaman almaz; bu yüzden kısa düzeltme turları güvenlidir.
- Son kontrol senin. Paylaşmadan önce canlı bağlantıda olmazsa olmaz listeni baştan sona gez.
İnsanların neler tarif ettiği konusunda fikir için kullanım senaryolarına göz at. Sonra olmazsa olmazlarını yaz, ücretsiz başla ve niyetinin ilk turda ne kadarının ayakta kaldığını gör.
S.S.S.