Üretilen çıktının kalitesi, birinin onu beğenmesiyle değil; aynı sorularla, aynı ölçütlerle, tekrar tekrar koşturulabilen bir değerlendirme kümesiyle ölçülür. Bu disipline alanda kısaca eval denir: bir sistemin ürettiği şeye duyulan güveni öznel izlenimden çıkarıp ölçülebilir bir sayıya bağlama pratiğidir. "İyi görünüyor" bir izlenimdir; "yüz örnekte doksan üçü geçti" bir ölçümdür. Aradaki fark, güvenin nereye dayandığıdır.
- Eval, üretilen çıktının kalitesini tekrarlanabilir biçimde ölçen değerlendirme disiplinidir.
- Öznel izlenim kişiye ve güne göre değişir; ölçüm sabit bir kümeyle her seferinde aynıdır.
- Değerlendirme kümesi, beklenen davranışı temsil eden örneklerin kasıtlı olarak biriktirildiği bir varlıktır.
- Tek bir sayı değil, bir dağılım izlenir: ortalama değil, nerede bozulduğu önem taşır.
- Bir değişiklik kaliteyi düşürdüğünde, bunu fark eden şey gerileme testidir, kullanıcı değil.
- Ölçülmüş güven, paylaşılabilir; sezgi paylaşılamaz, yalnızca aktarılmaya çalışılır.
Eval nedir ve hangi sorunu çözer
Eval, bir üretici sistemin çıktısını önceden tanımlanmış ölçütlere karşı, tekrarlanabilir biçimde sınayan değerlendirme disiplinidir. Adı İngilizce evaluation sözcüğünden gelir ve alanda bu kısaltmayla yerleşmiştir. Çözdüğü sorun basittir ama derindir: çıktının kalitesi öznel olduğunda, kalitenin iyileşip iyileşmediğini kimse güvenle söyleyemez.
Geleneksel yazılımda doğru cevap çoğunlukla tektir. İki sayı toplanır, sonuç ya tutar ya tutmaz. Üretilen çıktıda ise birden fazla kabul edilebilir cevap vardır, kötü cevaplar makul görünebilir ve aynı girdi farklı zamanlarda farklı sonuç verebilir. Bu zeminde "çalışıyor mu" sorusu yetersiz kalır; yerini "ne kadar sık, ne kadar iyi" sorusu alır.
Eval'in yaptığı, bu yumuşak soruyu sayılabilir bir biçime sokmaktır. Beklenen davranışı temsil eden örnekler toplanır, her örnek için neyin başarı sayıldığı tanımlanır, sistem bütün kümede koşturulur ve sonuç bir orana iner. Tek bir denemenin parlak çıkması bir anekdottur. Yüzlerce örnekte tutarlı bir oran, bir kanıttır. Disiplinin tamamı, anekdotu kanıta çevirme çabasıdır.
Burada gözden kaçan bir ayrım var. Eval bir not vermek için değil, bir değişimi izlemek için vardır. Tek bir koşumun mutlak değeri çoğu zaman az şey söyler; asıl bilgi, iki koşum arasındaki farktadır. Bir değişiklik yapıldığında oran düştü mü, yükseldi mi, yoksa aynı mı kaldı; karar bu üç olasılığa dayanır. Bu yüzden eval, tek seferlik bir sınav değil, sürekli bakımı yapılan bir gözlem aracıdır.
"İyi görünüyor"dan ölçülmüş güvene geçiş
Sezgisel değerlendirme, bir kişinin birkaç çıktıya bakıp genel bir izlenim edinmesidir. Hızlıdır, ucuzdur ve ilk gün işe yarar. Sorun, ölçeklenmemesidir. Bakan kişi değişince ölçüt değişir; yorgunken farklı, dinçken farklı karar verilir; ve dün beğenilen çıktının bugün hâlâ aynı kalitede olduğunu kimse iddia edemez.
Ölçülmüş güven bunun karşıtıdır. Aynı küme, aynı ölçütler, herkesin görebileceği bir sonuç. Bir kişinin keyfine değil, paylaşılan bir tanıma dayanır. Ekipteki herkes aynı sayıya bakar ve aynı şeyi anlar. Ölçülmüş güven, bir çıktının kalitesine dair, tekrarlanabilir bir ölçüme dayanan ve kişiden bağımsız olarak doğrulanabilen inançtır.
Bu geçiş genellikle bir kriz anında gerçekleşir. Bir değişiklik yapılır, bir şeyler sessizce kötüleşir ve kimse bunu günler sonra, dışarıdan bir uyarıyla fark eder. O an, "iyi görünüyor" demenin maliyeti görünür hale gelir. Sezginin tek başına yetmediği bir noktadan sonra, ölçüm bir lüks değil; bir zorunluluktur. Geçişi yapan ekipler, çoğu zaman bunu bir defa pahalıya öğrenmiştir.
Sezgiyi tümüyle atmak da yanlış olur. Deneyimli bir göz, bir kümenin yakalayamadığı tuhaflıkları sıklıkla ilk fark edendir. Doğru ilişki, sezgi ile ölçümü karşı karşıya koymak değil; sezginin bulduğunu ölçüme çevirmektir. Biri bir çıktının kötü olduğunu hisseder, o his bir örneğe dönüşür, örnek kümeye girer ve bir daha sessizce geçmez. Böylece öznel bir izlenim, kalıcı ve paylaşılabilir bir ölçüme dönüşür. Sezgi keşfeder; ölçüm sabitler.
Değerlendirme kümesi neden bir varlık gibi davranılması gerekir
Değerlendirme kümesi, sistemden beklenen davranışı temsil eden, kasıtlı olarak seçilmiş örneklerin ve her birinin başarı ölçütünün birlikte tutulduğu bir derlemedir. İyi bir küme rastgele toplanmaz. Kolay durumları, sınır durumları, geçmişte kırılmış durumları ve kasıtlı olarak zor olanları dengeli biçimde içerir.
Bu küme, kodun kendisi kadar değerli bir varlıktır ve öyle korunmalıdır. Zamanla büyür: her yeni hata, kümeye eklenen yeni bir örnek olur. Böylece aynı hatanın iki kez sızması zorlaşır. Bir kümeyi terk edilmiş bırakmak, onu yavaşça değersizleştirir; çünkü dünya değişirken küme sabit kalırsa, ölçtüğü şey artık gerçeğe karşılık gelmez.
Kümenin bileşimi, ölçümün dürüstlüğünü belirler. Yalnızca kolay örneklerle dolu bir küme yüksek ama yanıltıcı bir oran üretir. Gerçek kullanımı temsil etmeyen bir küme, gerçek kullanımda yaşanan başarısızlıkları gizler. Bir tradeoff sıkça yüzeye çıkar: küme büyüdükçe sinyal güçlenir ama her koşunun maliyeti de artar. Bu yüzden kümeler genellikle katmanlanır; küçük ve hızlı bir çekirdek sık koşturulur, geniş ve yavaş bir bütün ise seyrek koşturulur.
Bir başka tehlike daha sinsidir. Küme, kendisini geliştiren ekibin görüşlerini fazla yakından temsil edebilir. O zaman ölçüm, sistemin gerçek dünyada ne kadar iyi olduğunu değil; ekibin neyi iyi sandığını ölçer. Bu yüzden iyi kümeler, gerçek kullanımdan beslenir: yaşanan başarısızlıklar, beklenmedik girdiler ve kenarda kalan durumlar düzenli olarak içeri alınır. Küme bir fotoğraf değil, canlı bir kayıttır. Onu güncel tutmak, ölçümü gerçeğe bağlı tutmanın tek yoludur; çünkü dünya değişmeye devam eder, küme ise yalnızca özen gördüğü kadar değişir.
Tek doğrusu olmayan çıktı nasıl puanlanır
Üretilen çıktının en zor yanı, doğru cevabın çoğu zaman tek olmamasıdır. Bir metin üç farklı biçimde de iyi yazılmış olabilir. Bu durumda puanlama, basit bir eşitlik kontrolü olmaktan çıkar ve birkaç farklı yaklaşıma ayrılır. Her yaklaşımın güçlü ve zayıf yanları vardır.
| Puanlama yaklaşımı | Güçlü yanı | Zayıf yanı |
|---|---|---|
| Kesin eşleşme | Belirsizlik yok, sonuç tekrarlanabilir | Yalnızca tek doğrulu görevlerde çalışır |
| Kural tabanlı denetim | Hızlı, açıklanabilir, ucuz | Esnek dili ve niyeti yakalayamaz |
| Örnek karşılaştırma | Benzerliği ölçer, kısmi başarıyı görür | Eşiği seçmek özneldir |
| İnsan değerlendirmesi | İncelikleri ve bağlamı kavrar | Yavaş, pahalı, kişiye göre değişir |
Pratikte tek bir yaklaşım yeterli olmaz. Kesin eşleşmenin uygun olduğu yerde o kullanılır; geri kalanda kural denetimi ve örnek karşılaştırma birleştirilir; ve en belirsiz durumlarda küçük bir insan örneklemiyle ölçüm doğrulanır. Önemli olan, hangi yaklaşımın hangi soruya uygun olduğunu bilmektir. Yanlış görev için seçilmiş bir puanlayıcı, var olmayan bir güveni rapor eder.
Otomatik bir puanlayıcının kendisinin de yanılabileceği sıkça unutulur. Bir çıktıyı başka bir sistemle değerlendirmek hızlıdır ama o değerlendirici de hata yapar; bazen kötü bir cevaba yüksek not verir. Bu yüzden olgun bir uygulama, puanlayıcının kararlarını ara sıra insan yargısıyla karşılaştırır. Amaç, otomatik notun insan notuyla ne kadar örtüştüğünü ölçmektir. Örtüşme zayıfsa, ölçtüğümüz şey kalite değil; yalnızca bir başka sistemin kaprisidir. Puanlayıcıya güvenmeden önce, puanlayıcının kendisini değerlendirmek gerekir.
Değerlendirmeyi tekrarlanabilir ve sistemli kılma adımları
Tekrarlanabilirlik bir tesadüf değildir; bir düzenin sonucudur. Bir değerlendirmenin her seferinde aynı şeyi ölçmesi için belli bir işlem sırasının korunması gerekir. Aşağıdaki sıra, ilkeler düzeyinde bu düzeni tarif eder.
- Önce neyin başarı, neyin başarısızlık sayıldığını yazılı ve kişiden bağımsız biçimde tanımla.
- Beklenen davranışı temsil eden örnekleri topla ve her birine açık bir ölçüt iliştir.
- Kümeyi koştur, sonucu tek bir oran olarak değil, dağılım olarak kaydet.
- Sonucu önceki koşumla karşılaştır; düşüşü gerileme, yükselişi iyileşme olarak işaretle.
- Her yeni başarısızlığı kümeye yeni bir örnek olarak ekle ki bir daha sessizce geçmesin.
- Bu döngüyü her anlamlı değişikliğin parçası yap; ayrı bir tören değil, rutin bir adım olsun.
Bu adımların kalbinde birkaç kavram durur. Onları ayırmak, tartışmayı netleştirir.
- Gerileme testi
- Daha önce çalışan bir davranışın bir değişiklikten sonra bozulup bozulmadığını ölçen, sabit bir kümeye karşı koşulan değerlendirme.
- Temel çizgi
- Sonraki ölçümlerin kendisine karşı kıyaslandığı, kabul edilmiş bir önceki sonuç; iyileşmenin ve gerilemenin ölçüldüğü sıfır noktası.
- Kör nokta
- Kümenin temsil etmediği, bu yüzden ölçülmeyen ve ancak gerçek kullanımda ortaya çıkan başarısızlık türü.
Bu sıranın gücü, basitliğinde ve değişmezliğindedir. Adımlar her seferinde aynı düzende yürür; böylece iki koşum gerçekten kıyaslanabilir olur. Sıra bozulduğunda, ölçüm sessizce anlamını yitirir: farklı ölçütlerle, farklı örneklerle alınan iki sonuç birbiriyle karşılaştırılamaz. Tekrarlanabilirliğin asıl bedeli disiplindir; her değişiklikte aynı adımları, hatta sıkıcı geldiğinde bile, atlamadan uygulamak. Bu sıkıcılık bir kusur değil, bir güvencedir. Düzenli ve değişmeyen bir ölçüm, tam da öngörülebilir olduğu için güvenilirdir.
Ölçümün bir kültüre dönüşmesi neyi zorlaştırır
Bir değerlendirme aracı kurmak kolaydır; değerlendirmeyi bir kültür haline getirmek zordur. Araç, bir koşumla biten bir olaydır. Kültür ise, hiçbir anlamlı değişikliğin ölçülmeden geçmediği bir alışkanlıktır. İkincisi, birincisinden çok daha fazlasını ister: paylaşılan bir kalite tanımı, kümeye sahip çıkan bir sorumluluk ve düşük bir sayıyı görmezden gelmeyi reddeden bir disiplin.
Alan olgunlaştıkça ölçümün ağırlık merkezi kayıyor. Başlarda soru "sistem çalışıyor mu" idi. Şimdi giderek "ne kadar iyi çalıştığının nereden bilineceği" oluyor. Bu, daha derin ve daha rahatsız edici bir sorudur, çünkü cevabı sezgiyle verilemez. Zorlaşan şey, kalite tanımının kendisini açıkça yazmaktır; çünkü çoğu ekip neyi iyi bulduğunu hisseder ama tarif edemez.
Bu tarif etme zorunluluğu, beklenmedik bir yan etki üretir. Bir kümeyi inşa etmek için neyin iyi sayıldığını yazmak gerekir; bunu yazmak ise ekibi, çoğu zaman ilk kez, ortak bir kalite tanımı üzerinde anlaşmaya zorlar. Ölçümün asıl değeri bazen sayının kendisinde değil, o sayıya varmak için yapılması gereken bu konuşmadadır. Değerlendirme kurmak, sessiz varsayımları açığa çıkarır.
İkinci bir zorluk, ölçümün kapsamıyla ilgilidir. Bir küme yalnızca düşünülmüş durumları ölçer; düşünülmemiş olanı ölçemez. Bu yüzden ölgün bir tehlike, ölçülen sayının yüksek olmasına güvenip kör noktaların varlığını unutmaktır. Olgun bir değerlendirme kültürü, sayıya güvenirken sayının neyi kapsamadığını da sürekli sorar. Yön belli: güven artık bir izlenim değil, bakımı yapılan bir varlık haline geliyor. Onu inşa etmek bir kez; sürdürmek her gün olan bir iştir.