मुझे यह सवाल पसंद है क्योंकि यह हर संगठन में मौजूद राजनीति में मिलता है। मेरे विचार में और एक महत्वपूर्ण डिग्री के लिए, मॉडल के प्रदर्शन के बारे में अपेक्षाएं ऑर्गन संस्कृति और डिग्री का एक कार्य है जिसके लिए एक संगठन "तकनीकी रूप से साक्षर" है। यह स्पष्ट करने का एक तरीका है कि 4 बड़ी "डेटा विज्ञान" संस्थाओं - Google, FB, Amazon और Yahoo - के बीच 4 बड़ी एजेंसी - WPP, Omnicon, Interbrand और Publicis के बीच अंतरों पर विचार करने का मेरा क्या मतलब है। Google, एट अल, बहुत तकनीकी रूप से साक्षर हैं। दूसरी ओर, एजेंसियों को टेक फोबिया की ओर झुकाव के लिए जाना जाता है। इसके लिए क्या प्रमाण है? सबसे पहले, तकनीकी रूप से साक्षर समूह की स्थापना या इंजीनियरों, कंप्यूटर वैज्ञानिकों, गीक्स और मजबूत तकनीकी पृष्ठभूमि वाले लोगों द्वारा की गई। टेक अनपढ़ कंपनियों को कौन चलाता है? विपणक जो अपने नरम संचार और लोगों के कौशल के आधार पर प्रमुखता में बढ़ गए हैं। और इतना ही नहीं, NYC की इन कुछ दुकानों में काम करने के बाद, मैं गवाही दे सकता हूं कि ये संगठन व्यवस्थित रूप से दंडित करते हैं और / या उच्च तकनीकी रूप से साक्षर प्रकारों को बाहर निकालते हैं जो कि संस्कृति के साथ "फिट" नहीं है। इसके बाद, उनके कुल (स्टॉक) मार्केट कैप पर विचार करें, तकनीकी साक्षर समूह लगभग 800 बिलियन डॉलर जोड़ता है जबकि टेक अनपढ़ समूह 80 बिलियन तक। टेक साक्षर संस्थाएं मार्केट कैप में अन्य की तुलना में 10 गुना बड़ी हैं। यह बाजार की अपेक्षाओं का स्पष्ट विवरण है और निरक्षरों के लिए यह अधिक नहीं है। तो, एक्सट्रपलेशन के द्वारा, आप इस तरह के बोजोस की "भविष्य कहनेवाला सटीकता" उम्मीदों को चुनौती देने के लिए किस तरह की उम्मीद कर सकते हैं? NYC में इन कुछ दुकानों में काम करने के बाद, मैं गवाही दे सकता हूं कि ये संगठन व्यवस्थित रूप से दंडित करते हैं और / या उच्च तकनीकी रूप से साक्षर प्रकारों को धक्का देते हैं, जो कि संस्कृति के साथ "फिट" नहीं हैं। इसके बाद, उनके कुल (स्टॉक) मार्केट कैप पर विचार करें, तकनीकी साक्षर समूह लगभग 800 बिलियन डॉलर जोड़ता है जबकि टेक अनपढ़ समूह 80 बिलियन तक। टेक साक्षर संस्थाएं मार्केट कैप में अन्य की तुलना में 10 गुना बड़ी हैं। यह बाजार की अपेक्षाओं का स्पष्ट विवरण है और निरक्षरों के लिए यह अधिक नहीं है। तो, एक्सट्रपलेशन के द्वारा, आप इस तरह के बोजोस की "भविष्य कहनेवाला सटीकता" उम्मीदों को चुनौती देने के लिए किस तरह की उम्मीद कर सकते हैं? NYC में इन कुछ दुकानों में काम करने के बाद, मैं गवाही दे सकता हूं कि ये संगठन व्यवस्थित रूप से दंडित करते हैं और / या उच्च तकनीकी रूप से साक्षर प्रकारों को धक्का देते हैं, जो कि संस्कृति के साथ "फिट" नहीं हैं। इसके बाद, उनके कुल (स्टॉक) मार्केट कैप पर विचार करें, तकनीकी साक्षर समूह लगभग 800 बिलियन डॉलर जोड़ता है जबकि टेक अनपढ़ समूह 80 बिलियन तक। टेक साक्षर संस्थाएं मार्केट कैप में अन्य की तुलना में 10 गुना बड़ी हैं। यह बाजार की अपेक्षाओं का स्पष्ट विवरण है और निरक्षरों के लिए यह अधिक नहीं है। तो, एक्सट्रपलेशन के द्वारा, आप इस तरह के बोजोस की "भविष्य कहनेवाला सटीकता" उम्मीदों को चुनौती देने के लिए किस तरह की उम्मीद कर सकते हैं? उनके कुल (स्टॉक) मार्केट कैप पर विचार करें, तकनीकी साक्षर समूह लगभग 800 बिलियन डॉलर जोड़ता है जबकि टेक अनपढ़ समूह 80 बिलियन तक। टेक साक्षर संस्थाएं मार्केट कैप में अन्य की तुलना में 10 गुना बड़ी हैं। यह बाजार की अपेक्षाओं का स्पष्ट विवरण है और निरक्षरों के लिए यह अधिक नहीं है। तो, एक्सट्रपलेशन के द्वारा, आप इस तरह के बोजोस की "भविष्य कहनेवाला सटीकता" उम्मीदों को चुनौती देने के लिए किस तरह की उम्मीद कर सकते हैं? उनके कुल (स्टॉक) मार्केट कैप पर विचार करें, तकनीकी साक्षर समूह लगभग 800 बिलियन डॉलर जोड़ता है जबकि टेक अनपढ़ समूह 80 बिलियन तक। टेक साक्षर संस्थाएं मार्केट कैप में अन्य की तुलना में 10 गुना बड़ी हैं। यह बाजार की अपेक्षाओं का स्पष्ट विवरण है और निरक्षरों के लिए यह अधिक नहीं है। तो, एक्सट्रपलेशन के द्वारा, आप इस तरह के बोजोस की "भविष्य कहनेवाला सटीकता" उम्मीदों को चुनौती देने के लिए किस तरह की उम्मीद कर सकते हैं?
इसलिए, उस सांस्कृतिक ब्रेकआउट को देखते हुए और जहाँ आप गिरते हैं, उसके आधार पर, आपको कम या ज्यादा यथार्थवादी अपेक्षाएँ रखनी चाहिए। बेशक, अलग-अलग "टेक अनपढ़" संस्थाओं में प्रबंधक होंगे जो जानते हैं कि वे क्या कर रहे हैं, लेकिन अधिकांश भाग के लिए, इन संस्थाओं को तकनीकी कौशल में सबसे कम आम भाजक की मूर्खता का प्रभुत्व है, अर्थात, जो लोग सर्वोत्तम तकनीकी पर हैं अर्ध-साक्षर (और खतरनाक) या, अधिक सामान्यतः, पूरी तरह से असंख्य लेकिन यह नहीं जानते। इस मामले में, मैंने एक ऐसे व्यक्ति के लिए काम किया जो सी-सूट डेक से "सहसंबंध" जैसे शब्द चाहता था। यह एक चरम मामला है: आखिरकार, प्रत्येक सचिव जानता है कि "सहसंबंध" क्या है।
यह इस मुद्दे को उठाता है कि जब वे वास्तव में गूंगा सवाल पूछते हैं, तो "आप 99% की भविष्यवाणी की सटीकता क्यों नहीं प्राप्त कर रहे हैं?" एक अच्छी प्रतिक्रिया एक सवाल के साथ जवाब देना है, जैसे "आप इस तरह के एक अविश्वसनीय उच्च पीए को क्यों मानेंगे?" एक और हो सकता है, "क्योंकि अगर मुझे वास्तव में 99% पीए मिलता है, तो मुझे लगता है कि मैं कुछ गलत कर रहा था।" जो कि 90% पीए के साथ भी सही होने की संभावना है।
मॉडल मूल्य के लिए एकमात्र मानदंड के रूप में पीए पर जोर देने का अधिक मौलिक प्रश्न है। दिवंगत लियो ब्रिमन ने सांख्यिकीय और पूर्वानुमानात्मक मॉडलिंग समुदाय पर कई पदचिह्न छोड़ दिए जिनमें से पीए एक है। पीए के साथ उनकी प्राथमिक चिंता 90 के दशक में एक एकल कार्ट के पेड़ को चलाने में निहित अस्थिरता और त्रुटि के बारे में की जा रही कई आलोचनाओं को संबोधित करना था। उनका समाधान "यादृच्छिक जंगलों" को एक अनुमानित और अनंतिम विधि के रूप में प्रेरित करना था जो पेड़ की संरचना को समाप्त करके सटीकता को अधिकतम करेगा और अस्थिरता को कम करेगा। उन्होंने एकल लॉजिस्टिक रिग्रेशन मॉडल से त्रुटि के खिलाफ ~ 1,000 पुनरावृत्त आरएफ "मिनी-मॉडल" से निचले एमएसई को बेंचमार्क किया। एकमात्र समस्या यह थी कि उन्होंने कभी भी संतरे की तुलना करने के लिए चमकदार सेब का उल्लेख करने की जहमत नहीं उठाई:
2008 के नेटफ्लिक्स पुरस्कार ने किसी भी सांख्यिकीविद या टीम के लिए एक बड़े पैमाने पर मौद्रिक पुरस्कार की पेशकश की, जो कि उनके सिफारिश प्रणाली के MSE में सुधार करने में सक्षम है। उस समय, नेटफ्लिक्स इस प्रणाली पर प्रति वर्ष $ 150 मिलियन खर्च कर रहा था, यह आश्वस्त करता था कि लागत ग्राहक की वफादारी और फिल्मों की खरीद में बरामदगी से अधिक थी जो अन्यथा कभी नहीं चुनी गई थीं। अंतिम विजेताओं ने 107 विभिन्न मॉडलों का एक जटिल पहनावा इस्तेमाल किया।
हालाँकि, नेटफ्लिक्स ने सीखा कि, वास्तविक समस्या यह थी कि, एक पूरी तरह से भरी हुई लागत के नजरिए से, उनके वर्तमान मॉडल पर त्रुटि में वास्तविक सुधार 5 बिंदु रेटिंग में केवल 0.005% की कमी थी। यह उल्लेख नहीं करने के लिए कि समय में आईटी की लागत, भारी-उठाने और 107 मॉडलों के जीतने वाले अनुरक्षण के रखरखाव में त्रुटि में कमी से किसी भी लाभ को शून्य कर दिया गया है। इसे देखते हुए, नेटफ्लिक्स ने अंततः एमएसई का पीछा छोड़ दिया और कोई और अधिक नेटफ्लिक्स पुरस्कार नहीं दिया गया
और यह वह बिंदु है: पूर्वानुमानित त्रुटि को आसानी से कम किया जा सकता है या पी-हैक किया जा सकता है और विश्लेषक धोखाधड़ी का खतरा होता है (यानी, ऐसा समाधान खोजना जो विश्लेषक के मॉडलिंग कौशल को महिमा प्रदान करता है, सकारात्मक रूप से उसके संभावित अंत-वर्ष के बोनस को प्रभावित करता है)। इसके अलावा, यह एक आर्थिक और व्यावसायिक निर्वात में पूरी तरह से सांख्यिकीय समाधान और लक्ष्य है। मीट्रिक सहायक, संपार्श्विक लागत का बहुत कम या कोई विचार नहीं प्रदान करता है - ए से जेड तक मूल्यांकन किए गए बहुत वास्तविक परिचालन परिणाम जो किसी भी पूर्ण-लोड, ट्रेड-ऑफ आधारित निर्णय लेने की प्रक्रिया का एक अभिन्न अंग होना चाहिए।
यह उन मुद्दों में से एक बन गया है जो संगठनों में अंतर्निहित है और बदलना बहुत मुश्किल है। दूसरे शब्दों में, मुझे पूरी तरह से पता है कि मैं पीए के उपयोग के साथ केवेट के बारे में इस शेख़ी के साथ पवनचक्की में झुका रहा हूँ।