Aynı istem farklı çıktılar verir; çünkü üretken modeller her token'ı bir olasılık dağılımından örnekler ve barındırılan çıkarım, toplu işlemden ve donanımdan gürültü ekler. Sıcaklık ve tohum değişkenliği daraltır ama nadiren ortadan kaldırır. Üretimde tekrar üretilebilirlik, her koşulu kaydetmek, sürümleri sabitlemek ve aynı metin yerine eşdeğer anlam için test etmek demektir.
- Örnekleme değişkenliğin ilk kaynağıdır ve sıcaklık onun ne kadar geniş olduğunu belirler.
- Sıcaklık 0 bir garanti değildir. Eylül 2025'teki bir deneyde Thinking Machines Lab, sıcaklık 0'da 1.000 özdeş istekten 80 farklı tamamlama aldı.
- Tohumlar elinden gelenin en iyisi ilkesiyle çalışır. OpenAI'ın belgeleri belirleyiciliğin garanti edilmediğini söylüyor; PyTorch da özdeş tohumlarla bile sürümler ve donanımlar arasında sonuçların farklılaşabileceği konusunda uyarıyor.
- Kontrol edebildiğini sabitle: model sürümü, ayarlar, istem, eklenen dosyalar ve kod bağımlılıkları.
- Bir adımın özdeş çıktıya mı yoksa eşdeğer anlama mı ihtiyaç duyduğuna önceden karar ver ve buna göre test et.
- Değişkenlik fikirler ve taslaklar için yararlıdır. Kararlılığın gerektiği yerde onu sınırla.
Belirleyici ve olasılıksal üretim
Belirleyici üretim, aynı girdinin her seferinde aynı çıktıyı vermesi demektir. İki sayıyı topla; sonuç hiç değişmez. Bir dosyayı aynı kuralla dönüştür; çıktı bayt bayt özdeştir. Tekrar üretilebilirlik neredeyse bedavadır, çünkü yönetilecek bir değişkenlik yoktur.
Olasılıksal üretim farklı çalışır. Bir dil modeli tek bir doğru cevabı aramaz. Her adımda olası her sonraki token için bir olasılık hesaplar, sonra birini seçer. Aynı istem aynı dağılımı verir, ama ondan çekilen token her çalıştırmada aynı olmak zorunda değildir ve baştaki tek bir farklı seçim cevabın geri kalanını başka bir yola sokar. Değişkenlik tasarımın bir özelliğidir, bir arıza değil.
Bu ayrımı kaçırmak yanlış beklentiler yaratır. “Bir kez çalıştı, o hâlde doğru” tek bir örnekten çıkarılmış bir sonuçtur. Tersi de geçerli: tek bir kötü çalıştırma sistemin bozuk olduğunu kanıtlamaz; şanssız bir çekiliş olabilir. Gerçek ürünlerin çoğu melezdir; olasılıksal bir çekirdeğin çevresinde belirleyici kod vardır. İlk iş bu sınırı görünür kılmaktır, çünkü hangi parçaların değişebileceğini bilmedikçe bir farkın nereden geldiğini söyleyemezsin.
Sıcaklık ve tohum çıktı kararlılığını nasıl etkiler?
Sıcaklık (temperature), modelin olasılık dağılımının ne kadarını keşfetmesine izin verildiğini kontrol eder. Düşük sıcaklıkta örnekleme en olası token'lara yoğunlaşır ve çıktılar daha kararlı, daha öngörülebilir ve çoğu zaman daha sönük olur. Yüksek sıcaklıkta daha az olası token'lara şans tanınır ve çıktılar daha çeşitli, daha az kararlı olur. Birçok API, dağılımın düşük olasılıklı kuyruğunu kesen top-p gibi ilgili ayarlar da sunar.
Tohum (seed), örnekleme sırasında kullanılan rastgele sayı üretecinin başlangıç değeridir. Onu sabitlemek, rastgele seçimlerin tekrar etmesini amaçlar; böylece aynı ayarlarla aynı istem aynı yolu izler. Sıcaklık olası yolların aralığının ne kadar geniş olduğunu belirler; tohum hangi yolun alınacağını seçer.
Püf noktası “aynı ayarlarla” ifadesinde. Bir tohum, yalnızca diğer her şey özdeşse bir sonucu tekrarlar: model ağırlıkları, yazılım, donanım ve isteğin işlenme biçimi. Hangisini değiştirirsen değiştir, aynı tohum farklı bir cevap üretebilir. OpenAI'ın tohum parametresine dair rehberi sistemin “belirleyici biçimde örneklemek için elinden geleni yapacağını” ve “belirleyiciliğin garanti edilmediğini” söylüyor. Her yanıt ayrıca “modelin çalıştığı arka uç yapılandırmasını temsil eden” bir sistem parmak izi taşır; bu yüzden parmak izinin değişmesi, özdeş sonuçların daha az olası olduğunu haber verir (OpenAI cookbook'ta tekrarlanabilir çıktılar, İngilizce; çeviri bize ait).
Sıcaklık 0 neden hâlâ belirleyici değil?
Sıcaklığı sıfıra ayarlamak modele her zaman en olası token'ı seçmesini söyler; bu da çıktıyı tekrarlanabilir kılmalıdır. Pratikte çoğu zaman öyle değil, özellikle barındırılan hizmetlerde.
Thinking Machines Lab'dan Horace He ve arkadaşlarının Eylül 2025'te yayımladığı ayrıntılı bir inceleme nedenini gösteriyor. Aynı istemi, “Tell me about Richard Feynman”, açık ağırlıklı bir modele sıcaklık 0'da 1.000 kez gönderdiler ve 80 benzersiz tamamlama aldılar. En yaygın olanı 78 kez göründü ve çıktılar ilk kez 103. token'da ayrıştı. Ana neden örnekleme değil, sunucuydu: sayısal çekirdekler (kernels) toplu işlemden bağımsız değildi, bu yüzden sonuçlar aynı anda kaç başka isteğin işlendiğine bağlıydı ve bu yük öngörülemez biçimde değişiyor. Toplu işlemden bağımsız çekirdeklerle 1.000 tamamlamanın hepsi özdeşti (Defeating nondeterminism in LLM inference, İngilizce).
Daha alt düzey yazılım kendi uyarılarını ekler. En yaygın kullanılan makine öğrenmesi çerçevelerinden biri olan PyTorch, “tamamen tekrar üretilebilir sonuçların PyTorch sürümleri, tekil commit'ler ya da farklı platformlar arasında garanti edilmediğini” ve sonuçların CPU ile GPU arasında “özdeş tohumlar kullanılsa bile” farklılaşabileceğini belirtiyor (PyTorch tekrar üretilebilirlik notları, İngilizce; çeviri bize ait).
Pratik sonuç: kontrol etmediğin bir hizmette, ayarlar ne olursa olsun, bit bit tekrarı olası görme ve kontrollerini buna göre tasarla.
Sürüm sabitleme: ortamı dondurmak
Bir çıktıyı yeniden üretmek için, onu üreten her şeyin aynı kalması gerekir. Sürüm sabitleme, ortamın her bileşenini belirli, kaydedilmiş bir duruma sabitlemek demektir: hareketli bir takma ad yerine tam model sürümü, istem şablonu, ayarlar, eklenen dosyalar ve modelin çevresindeki kod kütüphaneleri.
Birçok sağlayıcı hem tarihli model anlık görüntüleri hem de zamanla daha yeni sürümlere kayan takma adlar sunar. Takma ad kullanışlıdır ama tekrar üretilebilirliğe ters çalışır: dünkü çıktı bugün geri gelmeyebilir ve nedeni görünmez olur. Tarihli bir anlık görüntü, sen taşımaya karar verene kadar modeli sabit tutar.
Dondurulmuş bir ortamın asıl değeri teşhistir. Ortam dondurulmuşken çıktı değiştiyse, değişiklik yalnızca bilerek değiştirdiğin şeyden gelebilir. Ortam kayıyorsa, aynı fark için birçok olası neden vardır ve hiçbiri elenemez.
Dondurmanın bir bedeli var. Sabitlenmiş bir ortam iyileştirmeleri kaçırır ve sonunda güncellenmesi gerekir; sağlayıcılar da eski sürümleri emekliye ayırır. Mantıklı bir kalıp, tekrar üretilebilirlik gerektiren parçaları sabitlemek, onları bilerek ve bir takvimle ilerletmek ve her seferinde testlerini yeniden çalıştırmaktır.
“Aynı” ne demek: birebir eşleşme ve anlamsal denklik
Tekrar üretilebilirliğin ilk fikri, iki çıktının harfi harfine özdeş olması gerektiğidir. Olasılıksal üretimde bu ölçüt çoğu zaman erişilemez ve genellikle gereksizdir. Asıl soru, iki çıktının aynı işi eşit derecede iyi görüp görmediğidir.
| Yaklaşım | Neyi kabul eder | Güçlü yanı | Zayıf yanı |
|---|---|---|---|
| Birebir eşleşme | Yalnızca bayt bayt özdeş çıktı | Net ve kontrolü kolay | Üretilen çıktıda çoğu zaman erişilemez |
| Anlamsal denklik | Aynı anlamı ve olguları taşıyan farklı ifade | Dil görevleri için gerçekçi | Test tanımlanmalı ve öznel olabilir |
| Sabitlenmiş sürüm | Dondurulmuş bir ortamda aynı koşullar | Bir farkın kaynağını izlenebilir kılar | Eskir ve planlı güncelleme ister |
| Kayan sürüm | Kendini güncelleyen bir ortam | Az bakımla güncel kalır | Geçmiş çıktıları yeniden oluşturmak zorlaşır |
Görevine göre seç. Bir toplamı hesaplayan, bir tanımlayıcı üreten ya da bir kuralı kontrol eden adım kesin sonuçlara ihtiyaç duyar; bu yüzden onu hiç bir üreticiye bırakma, sıradan koda koy. Özetleyen, yeniden yazan ya da öneren bir adım eşdeğer cevapları kabul edebilir. Yanlış ölçütü zorlamak ya var olmayan bir sorunun peşinden koşar ya da var olan birini gizler.
Anlamsal denklik yazılı bir tanım ister. Tipik testler: çıktı bir şema kontrolünü geçer, gereken olguları içerir, yasak olanların hiçbirini içermez ve bir değerlendirme ölçeğinde bir eşiğin üzerinde puan alır. Bu tanım olmadan “yeterince yakın” değerlendiriciden değerlendiriciye değişir. Bu testleri kurmak, eval disiplininin çekirdeğidir.
Bir çıktı nasıl denetlenebilir ve tekrar üretilebilir olur?
Bir çıktıyı sonradan açıklayabilmek, onu üreten koşulları o anda kaydetmeye bağlıdır. Bu sıra, bir defterdeki tek bir istem için de, bir üretim hattı için de işler.
- Koşulları kaydet. Tam istemi, eklenen dosyaları, model sürümünü, sıcaklığı, tohumu ve hizmetin döndürdüğü her parmak izini ya da sürüm tanımlayıcısını sakla.
- Ölçütü önceden seç. Bu adımın birebir eşleşmeye mi yoksa anlamsal denkliğe mi ihtiyaç duyduğuna karar ver ve denklik testini yaz.
- Ortamı geri yükle. Güncel olan neyse onunla değil, sabitlenmiş sürümlerle yeniden çalıştır.
- Ölçütle karşılaştır. Yeni çıktıyı gözle değil, seçtiğin testle değerlendir.
- Sapmaları ayır. Sonuçlar farklıysa hangi koşulun nedeni olduğunu bulmak için her seferinde tek bir etkeni değiştir.
- Kaydı çıktıyla birlikte sakla. Koşulları olmayan bir çıktının tekrarı yalnızca umulabilir, asla açıklanamaz.
Üç terim tartışmayı kesin tutar:
- Denetlenebilirlik
- Bir çıktının hangi koşullarda üretildiğini izleyip açıklayabilme becerisi.
- Anlamsal denklik
- İfadesi farklı iki çıktının aynı anlamı taşıyabileceğinin ve aynı amaca hizmet edebileceğinin kabulü.
- Değişken yalıtımı
- Her şeyi sabit tutup her seferinde tek bir etkeni değiştirerek bir farkın nedenini bulmak.
Bu sıra bir gizemi kayıt tutmaya çevirir. Koşullar kaydedildiğinde ve ortam dondurulduğunda, bir sapmanın nedeni bir avuç olasılığa iner. Amaçlanan davranışı bir şartname olarak yazmak kaydı daha da güçlendirir; spec odaklı geliştirme bunu savunuyor. İstem de koşullardan yalnızca biri olduğu için disiplin, bağlam mühendisliğiyle büyük ölçüde örtüşür.
Değişkenlik ne zaman kusur değil, özelliktir?
Tekrar üretilebilirliği mutlak bir erdem saymak kolay, ama her görev bunu istemez. Hesaplamalar, kimlik kontrolleri ve kural uygulaması kararlılık ister. Beyin fırtınası, alternatif sunmak ve taslakları keşfetmek çeşitlilikten yararlanır: on başlık fikri istersen, aynı başlığın on kopyası bir başarısızlıktır.
Yani hata, değişkenliğin kendisi değil, yanlış yerdeki değişkenliktir. Çeşitliliğin istendiği yerde kararlılığı zorlamak çıktıyı yoksullaştırır. Kararlılığın gerektiği yerde çeşitliliğe izin vermek güveni yıkar. Beceri, her adımın hangisine ihtiyaç duyduğuna karar vermekte yatar.
Değişkenlik ve denetlenebilirlik birlikte de çalışır. Çeşitliliğe izin verdiğin yerde bile ürettiğin her sürümün koşullarını kaydet; böylece beğendiğin bulunabilir ve sonradan üzerine kurulabilir. Yararlı bir kalıp, çeşitlilikle keşfetmek, bir kazanan seçmek, sonra onu dondurmaktır: onaylanmış çıktıyı sakla ve yeniden üretip aynı sonucu ummak yerine onu yeniden kullan.
WisyLink ile üretirken tekrar üretilebilirlik
WisyLink bir sohbetten web siteleri ve web uygulamaları oluşturur; bu yüzden aynı ilkeler geçerli. Her oluşturma üretilir: aynı siteyi iki yeni sohbette istersen iki farklı tasarım alırsın. Güvenebileceğin şey, yayındaki sürümdür.
- Yayındaki sürüm, sabitlenmiş yayınındır. Oluşturulmuş bir uygulama, yeni bir oluşturma onun yerini alana kadar aynı sürümü sunmayı sürdürür. Başarısız bir oluşturma mevcut sürümü yerinde bırakır; çünkü bir yayına alma onu tümüyle değiştirir ya da hiç yayına çıkmaz.
- İçerik değişiklikleri yeniden oluşturma gerektirmez. Yeni kayıtlar ve yüklemeler uygulamayı yeniden üretmeden yaklaşık bir dakika içinde ziyaretçilere ulaşır; böylece günlük içerik değişkenliği yeniden getirmez.
- Baştan başlama; yinele. Değişiklikleri aynı sohbette devam mesajları olarak yap; böylece her oluşturma zaten beğendiğin sürümden başlar. Mümkün olduğunda mesaj başına tek bir şeyi değiştir: uygulamada değişken yalıtımı.
- Koşullarını sakla. Memnun kaldığın bir sürümü üreten mesajları ve başvuru dosyalarını, sohbetin yanı sıra kendi notlarında da kaydet.
- Yayından önce test et. Her değişiklikten sonra canlı bağlantıda her formu, randevuyu ve ödemeyi kontrol et.
Sürümlerin ziyaretçilere nasıl ulaştığı ürün sayfasında anlatılıyor. Prompt şablonlarımız saklamaya değer bir ilk mesaj yazmana yardım eder, site yayına alma kontrol listesi de neyi test edeceğini kapsar. Hazır olduğunda ücretsiz başla ve yeniden üretmek yerine geliştirebileceğin bir ilk sürüm oluştur.
S.S.S.