उत्पन्न आउटपुट की गुणवत्ता इस बात से नहीं मापी जाती कि किसी को वह पसंद आया; बल्कि उसी प्रश्नों और उन्हीं मापदंडों के साथ बार-बार चलाए जा सकने वाले मूल्यांकन सेट से मापी जाती है। क्षेत्र में इस अनुशासन को संक्षेप में eval कहते हैं: किसी सिस्टम के उत्पाद पर विश्वास को व्यक्तिपरक छाप से निकालकर मापनीय संख्या से बाँधने की प्रथा। «अच्छा लगता है» एक छाप है; «सौ में से तिरानबे उदाहरण पास हुए» एक माप है। अंतर यह है कि विश्वास कहाँ टिका है।
- Eval वह मूल्यांकन अनुशासन है जो उत्पन्न आउटपुट की गुणवत्ता को दोहराए जा सकने वाले तरीके से मापता है।
- व्यक्तिपरक छाप व्यक्ति और दिन के साथ बदलती है; माप निश्चित सेट के साथ हर बार एक जैसा रहता है।
- मूल्यांकन सेट एक संपत्ति है जिसमें अपेक्षित व्यवहार दर्शाने वाले उदाहरण जानबूझकर जमा किए जाते हैं।
- एक संख्या नहीं, वितरण देखा जाता है: औसत नहीं, कहाँ टूटता है—यह मायने रखता है।
- जब कोई बदलाव गुणवत्ता घटाए, उसे उपयोगकर्ता नहीं, रिग्रेशन टेस्ट पकड़ता है।
- मापा गया विश्वास साझा हो सकता है; अंतर्ज्ञान साझा नहीं होता, केवल स्थानांतरित करने की कोशिश होती है।
Eval क्या है और कौन सी समस्या हल करता है
Eval वह मूल्यांकन अनुशासन है जो जनरेटिव सिस्टम के आउटपुट को पूर्वनिर्धारित मापदंडों के विरुद्ध दोहराए जा सकने वाले तरीके से परखता है। नाम अंग्रेज़ी evaluation से आता है और क्षेत्र में इसी संक्षेपाक्षर से जम गया है। जो समस्या हल करता है वह सरल पर गहरी है: जब आउटपुट की गुणवत्ता व्यक्तिपरक हो, कोई विश्वास से नहीं कह सकता कि गुणवत्ता सुधरी या नहीं।
पारंपरिक सॉफ़्टवेयर में सही उत्तर अक्सर एक ही होता है। दो संख्याएँ जोड़ते हैं; परिणाम या मिलता है या नहीं। उत्पन्न आउटपुट में कई स्वीकार्य उत्तर होते हैं, खराब उत्तर उचित लग सकते हैं, और वही इनपुट अलग समय पर अलग परिणाम दे सकता है। इस ज़मीन पर «क्या काम करता है» पर्याप्त नहीं; उसकी जगह «कितनी बार, कितना अच्छा» ले लेता है।
Eval जो करता है, वह इस नरम प्रश्न को गणनीय रूप में ढालना है। अपेक्षित व्यवहार दर्शाने वाले उदाहरण इकट्ठे होते हैं, हर उदाहरण के लिए सफलता क्या है परिभाषित होती है, सिस्टम पूरे सेट पर चलता है और परिणाम एक दर में सिमटता है। एक चमकदार परीक्षण किस्सा है। सैकड़ों उदाहरणों में सुसंगत दर साक्ष्य है। पूरा अनुशासन किस्से को साक्ष्य में बदलने का प्रयास है।
यहाँ एक भेद आसानी से छूट जाता है। Eval ग्रेड देने के लिए नहीं, बदलाव ट्रैक करने के लिए है। एक रन का निरपेक्ष मान अक्सर कम कहता है; असली जानकारी दो रनों के अंतर में है। बदलाव के बाद दर गिरी, बढ़ी, या वही रही—निर्णय इन्हीं तीन संभावनाओं पर टिका है। इसलिए eval एक बार की परीक्षा नहीं, निरंतर रखरखाव वाला अवलोकन उपकरण है।
«अच्छा लगता है» से मापे गए विश्वास तक
अंतर्ज्ञानी मूल्यांकन वह है जब कोई व्यक्ति कुछ आउटपुट देखकर सामान्य छाप बनाता है। यह तेज़, सस्ता और पहले दिन उपयोगी है। समस्या यह है कि यह स्केल नहीं होता। देखने वाला बदले तो मापदंड बदलते हैं; थकान में अलग, तरोताज़ा में अलग निर्णय; और कोई दावा नहीं कर सकता कि कल पसंद आया आउटपुट आज भी वही गुणवत्ता रखता है।
मापा गया विश्वास इसका विपरीत है। वही सेट, वही मापदंड, सबको दिखने वाला परिणाम। किसी व्यक्ति की मनोदशा पर नहीं, साझा परिभाषा पर टिका। टीम में हर कोई एक ही संख्या देखता है और एक ही बात समझता है। मापा गया विश्वास आउटपुट की गुणवत्ता के बारे में वह धारणा है जो दोहराए जा सकने वाले माप पर टिकी हो और व्यक्ति से स्वतंत्र सत्यापित हो सके।
यह संक्रमण अक्सर संकट के क्षण में होता है। बदलाव होता है, कुछ चुपचाप बिगड़ता है, और दिन बाद बाहरी चेतावनी से पता चलता है। उस क्षण «अच्छा लगता है» कहने की लागत दिखती है। जहाँ अंतर्ज्ञान अकेला पर्याप्त नहीं, माप विलास नहीं; अनिवार्यता है। संक्रमण करने वाली टीमें अक्सर इसे एक बार महँगे दाम पर सीखती हैं।
अंतर्ज्ञान पूरी तरह छोड़ना भी गलत होगा। अनुभवी नज़र अक्सर पहले उन अजीब बातों को पकड़ती है जिन्हें सेट नहीं पकड़ता। सही संबंध अंतर्ज्ञान और माप को आमने-सामने रखना नहीं; अंतर्ज्ञान जो खोजे उसे माप में बदलना है। कोई महसूस करता है आउटपुट खराब है; वह भाव उदाहरण बनता है; उदाहरण सेट में जाता है और फिर चुपचाप नहीं निकलता। इस तरह व्यक्तिपरक छाप स्थायी, साझा माप बन जाती है। अंतर्ज्ञान खोजता है; माप स्थिर करता है।
मूल्यांकन सेट को संपत्ति क्यों मानना चाहिए
मूल्यांकन सेट जानबूझकर चुने उदाहरणों और प्रत्येक की सफलता मापदंड का संग्रह है जो सिस्टम के अपेक्षित व्यवहार को दर्शाते हैं। अच्छा सेट यादृच्छिक नहीं जुटता। इसमें आसान मामले, सीमा मामले, पहले टूटे मामले और जानबूझकर कठिन मामले संतुलित रूप से होते हैं।
यह सेट कोड जितना ही मूल्यवान संपत्ति है और वैसा ही सुरक्षित रखना चाहिए। समय के साथ बढ़ता है: हर नई विफलता सेट में नया उदाहरण बनती है। इस तरह वही गलती दो बार छनकर निकलना कठिन होता है। सेट छोड़ देना उसे धीरे अवमूल्यन करता है; क्योंकि दुनिया बदले और सेट स्थिर रहे तो जो मापता है वह वास्तविकता से मेल नहीं खाता।
सेट की संरचना माप की ईमानदारी तय करती है। केवल आसान उदाहरणों वाला सेट ऊँची पर भ्रामक दर देता है। वास्तविक उपयोग न दर्शाने वाला सेट वास्तविक उपयोग की विफलताएँ छिपाता है। अक्सर ट्रेडऑफ़ सामने आता है: सेट बड़ा तो संकेत मज़बूत, पर हर रन की लागत भी बढ़ती है। इसलिए सेट अक्सर परतदार होते हैं; छोटा तेज़ कोर बार-बार चलता है, व्यापक धीमा पूरा सेट कभी-कभी।
एक और खतरा अधिक चालाक है। सेट उसे बनाने वाली टीम के नज़रियों को बहुत पास से दर्शा सकता है। तब माप यह नहीं मापता कि सिस्टम वास्तविक दुनिया में कितना अच्छा है; मापता है टीम क्या अच्छा समझती है। इसलिए अच्छे सेट वास्तविक उपयोग से पोषित होते हैं: हुई विफलताएँ, अप्रत्याशित इनपुट और किनारे के मामले नियमित रूप से अंदर आते हैं। सेट फ़ोटो नहीं, जीवित रिकॉर्ड है। उसे अद्यतन रखना माप को वास्तविकता से जोड़ने का एकमात्र तरीका है; क्योंकि दुनिया बदलती रहती है, और सेट केवल उतना बदलता है जितना उसकी देखभाल हो।
जिस आउटपुट का एक सही उत्तर न हो, उसे कैसे स्कोर करें
उत्पन्न आउटपुट का सबसे कठिन पहलू यह है कि सही उत्तर अक्सर एक नहीं होता। एक पाठ तीन अलग तरीकों से भी अच्छा लिखा जा सकता है। तब स्कोरिंग साधारण समानता जाँच नहीं रहती और कई दृष्टिकोणों में बँट जाती है। हर दृष्टिकोण की शक्ति और कमज़ोरी है।
| स्कोरिंग दृष्टिकोण | शक्ति | कमज़ोरी |
|---|---|---|
| सटीक मिलान | अस्पष्टता नहीं, परिणाम दोहराया जा सकता है | केवल एक-सही-उत्तर कार्यों पर काम करता है |
| नियम-आधारित जाँच | तेज़, समझाने योग्य, सस्ता | लचीली भाषा और इरादा नहीं पकड़ता |
| संदर्भ तुलना | समानता मापता है, आंशिक सफलता देखता है | थ्रेशहोल्ड चुनना व्यक्तिपरक है |
| मानव मूल्यांकन | सूक्ष्मता और संदर्भ समझता है | धीमा, महँगा, व्यक्ति के अनुसार बदलता है |
व्यवहार में एक दृष्टिकोण पर्याप्त नहीं। जहाँ सटीक मिलान फिट हो वहाँ वही; बाकी में नियम जाँच और संदर्भ तुलना मिलाई जाती है; और सबसे अस्पष्ट मामलों में छोटे मानव नमूने से माप सत्यापित होता है। महत्वपूर्ण यह जानना है कि कौन सा दृष्टिकोण किस प्रश्न पर फिट बैठता है। गलत कार्य के लिए चुना स्कोरर अस्तित्वहीन विश्वास रिपोर्ट करता है।
अक्सर भूल जाते हैं कि स्वचालित स्कोरर स्वयं भी गलत हो सकता है। आउटपुट को दूसरे सिस्टम से आंकना तेज़ है पर वह मूल्यांकनकर्ता भी गलती करता है; कभी खराब उत्तर को ऊँचा अंक देता है। इसलिए परिपक्व अभ्यास कभी-कभी स्कोरर के निर्णयों की तुलना मानव निर्णय से करता है। उद्देश्य यह मापना है कि स्वचालित अंक मानव अंक से कितना मेल खाता है। मेल कमज़ोर हो तो हम गुणवत्ता नहीं माप रहे; केवल किसी और सिस्टम की लहर। स्कोरर पर भरोसा करने से पहले स्कोरर का ही मूल्यांकन करना पड़ता है।
मूल्यांकन को दोहराया और व्यवस्थित बनाने के चरण
दोहराव योग्यता संयोग नहीं; व्यवस्था का परिणाम है। मूल्यांकन हर बार एक ही चीज़ मापे, इसके लिए निश्चित संचालन क्रम रखना होता है। नीचे का क्रम सिद्धांतों के स्तर पर उस व्यवस्था का वर्णन करता है।
- पहले लिखित और व्यक्ति-स्वतंत्र रूप से परिभाषित करें कि सफलता क्या है और विफलता क्या।
- अपेक्षित व्यवहार दर्शाने वाले उदाहरण इकट्ठे करें और प्रत्येक से स्पष्ट मापदंड जोड़ें।
- सेट चलाएँ; परिणाम केवल एक दर के रूप में नहीं, वितरण के रूप में दर्ज करें।
- पिछले रन से तुलना करें; गिरावट को रिग्रेशन, वृद्धि को सुधार चिह्नित करें।
- हर नई विफलता को सेट में नया उदाहरण बनाकर जोड़ें ताकि फिर चुपचाप न निकले।
- इस चक्र को हर सार्थक बदलाव का हिस्सा बनाएँ; अलग समारोह नहीं, नियमित चरण।
इन चरणों के हृदय में कुछ अवधारणाएँ हैं। उन्हें अलग करना चर्चा स्पष्ट करता है।
- रिग्रेशन टेस्ट
- निश्चित सेट के विरुद्ध चलाया मूल्यांकन जो मापता है कि पहले काम कर रहा व्यवहार बदलाव के बाद टूटा या नहीं।
- बेसलाइन
- स्वीकृत पिछला परिणाम जिसके विरुद्ध बाद के माप तुलना होते हैं; सुधार और रिग्रेशन का शून्य बिंदु।
- अंध बिंदु
- वह विफलता प्रकार जिसे सेट नहीं दर्शाता, इसलिए नहीं मापता, और केवल वास्तविक उपयोग में सामने आता है।
इस क्रम की शक्ति इसकी सरलता और अपरिवर्तनीयता में है। चरण हर बार एक ही क्रम में चलते हैं; तभी दो रन सच में तुलनीय होते हैं। क्रम टूटे तो माप चुपचाप अर्थ खो देता है: अलग मापदंडों और उदाहरणों वाले दो परिणाम एक-दूसरे से नहीं मिलते। दोहराव योग्यता की असली कीमत अनुशासन है; हर बदलाव पर वही चरण लागू करना, भले उबाऊ लगे, बिना छोड़े। वह उबाऊपन दोष नहीं, सुरक्षा है। नियमित और अपरिवर्तित माप ठीक इसलिए विश्वसनीय है क्योंकि पूर्वानुमेय है।
जब माप संस्कृति बनता है तो क्या कठिन होता है
मूल्यांकन उपकरण बनाना आसान है; मूल्यांकन को संस्कृति बनाना कठिन। उपकरण एक घटना है जो रन के साथ खत्म होती है। संस्कृति वह आदत है जिसमें कोई सार्थक बदलाव बिना मापे नहीं गुज़रता। दूसरा पहले से कहीं अधिक माँगता है: गुणवत्ता की साझा परिभाषा, सेट की ज़िम्मेदारी, और कम संख्या अनदेखी करने से इनकार करने वाला अनुशासन।
क्षेत्र परिपक्व होने के साथ माप का गुरुत्व केंद्र खिसकता है। पहले प्रश्न था «क्या सिस्टम काम करता है»। अब बढ़ते हुए «कितना अच्छा काम करता है यह कहाँ से पता»। यह गहरा और अधिक असुविधाजनक प्रश्न है, क्योंकि उत्तर अंतर्ज्ञान से नहीं दिया जा सकता। कठिन होता है गुणवत्ता की परिभाषा स्वयं स्पष्ट लिखना; क्योंकि अधिकांश टीमें महसूस करती हैं क्या अच्छा है पर वर्णन नहीं कर पातीं।
यह वर्णन करने की अनिवार्यता अप्रत्याशित दुष्प्रभाव पैदा करती है। सेट बनाने के लिए लिखना पड़ता है कि अच्छा क्या गिना जाए; लिखना अक्सर पहली बार टीम को साझा गुणवत्ता परिभाषा पर सहमत होने को मजबूर करता है। माप का असली मूल्य कभी संख्या में नहीं, उस संख्या तक पहुँचने वाली बातचीत में होता है। मूल्यांकन बनाना चुप धारणाएँ उजागर करता है।
दूसरी कठिनाई माप के दायरे से जुड़ी है। सेट केवल सोचे गए मामलों को मापता है; न सोचे गए को नहीं। इसलिए एक चालाक खतरा है ऊँची मापी संख्या पर भरोसा कर अंध बिंदु भूल जाना। परिपक्व मूल्यांकन संस्कृति संख्या पर भरोसा करते हुए लगातार पूछती है कि संख्या क्या नहीं ढकती। दिशा स्पष्ट: विश्वास अब छाप नहीं, रखरखाव वाली संपत्ति बन रहा है। बनाना एक बार; बनाए रखना हर दिन का काम है।
F.A.Q.