आप काम पर उम्मीदों का प्रबंधन कैसे करते हैं?


22

डेटा साइंस, मशीन लर्निंग, और आसपास की सभी सफलता की कहानियों के आसपास के सभी घेरा के साथ, दोनों न्यायोचित और डेटा वैज्ञानिकों और उनके पूर्वानुमान मॉडल से बहुत अधिक औचित्यपूर्ण हैं।

सांख्यिकीविदों, मशीन लर्निंग विशेषज्ञों, और डेटा वैज्ञानिकों का अभ्यास करने का मेरा प्रश्न है - आप कंपनी के व्यवसायियों से अपेक्षाओं का प्रबंधन कैसे करते हैं, विशेष रूप से मॉडल की भविष्यवाणी की सटीकता के संबंध में? इसे तुच्छ रूप से कहने के लिए, यदि आपका सबसे अच्छा मॉडल केवल 90% सटीकता प्राप्त कर सकता है, और ऊपरी प्रबंधन को 99% से कम कुछ भी नहीं चाहिए, तो आप इन जैसी स्थितियों को कैसे संभालेंगे?


1
अच्छा प्रश्न! लेकिन एक सामुदायिक विकी होना चाहिए जिसे मैं मानता हूं
एलेक्सी ग्रिगोरव

1
अच्छा प्रश्न। वहाँ गया, किया (और कर) कि: डी
Dawny33

जवाबों:


11

तर्कसंगत व्यवसाय के लोग सटीकता के लिए भुगतान नहीं करते हैं, वे या तो भुगतान करते हैं

  • एक लाभदायक प्रक्रिया पर पैसे बचाएं (जिससे यह अधिक लाभदायक हो), या द्वारा
  • नया पैसा बनाना (नई लाभदायक प्रक्रियाएँ बनाना)।

इसलिए जो भी परियोजना शुरू की जाती है, उसे इस संदर्भ में स्पष्ट किया जाना चाहिए। पहला कदम हमेशा समझ में आता है कि आप किन दो प्रक्रियाओं पर काम कर रहे हैं, और आपको इस बात का स्पष्ट विचार होना चाहिए कि कैसे प्राप्त किया जा सकता है, जबकि यह ध्यान में रखते हुए कि आप प्रगति करते हैं कि आप कैसे बदल सकते हैं।

यदि आप एक प्रक्रिया की सटीकता में सुधार कर सकते हैं, तो आप शायद फर्म के लिए पैसा बना सकते हैं और व्यवसाय के लोग आपकी प्रगति में निवेश करेंगे। व्यवसायिक व्यक्ति को 99 प्रतिशत सटीकता पर जोर देने और 90 प्रतिशत को अस्वीकार करने का एकमात्र तर्कसंगत कारण हो सकता है यदि उनके पास पहले से ऐसा करने का एक तरीका था जो 90 प्रतिशत से बेहतर था। यदि ऐसा है तो वे निश्चित रूप से अपनी स्थिति में उचित हैं।

उन परियोजनाओं के व्यवसाय के मामले को समझना और प्रस्तुत करना जो आप उन शर्तों पर काम कर रहे हैं जो व्यवसाय के लोग समझते हैं कि किसी भी इंजीनियर की परिपक्व प्रक्रिया का हिस्सा है। यह डेटा साइंस के लिए बिल्कुल भी अनोखा नहीं है, हालांकि डेटा साइंस में कुछ अनोखे पहलू हैं (जैसे कि कम परिपक्वता, लेकिन दृढ़संकल्पता खोज की उच्च संभावना - कम से कम आज के परिवेश में।

एक प्रासंगिक प्रक्रिया जो डेटा विज्ञान के करीब है जो इस कदम को स्पष्ट करती है वह यहाँ देखी जा सकती है: https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining

लेकिन अधिकांश एंटरप्राइज़ आर्किटेक्चर फ्रेमवर्क समान रूप से लागू होते हैं।


1
अच्छी तरह से किया। आपका जवाब वास्तविकता से उम्मीद का सीमांकन करता है। वाहवाही!
अनटाइल्डप्रोग्राममर

अजीब तरह से यहाँ उत्थान मेरे बिंदुओं में दर्ज नहीं हुआ।
माइक वाइज

10

प्रतिस्पर्धी समकक्षों को इकट्ठा करें। कोशिश करें और एक अत्याधुनिक निर्धारित करें और देखें कि आपके मॉडल कैसे तुलना करते हैं। यह इस बात पर भी निर्भर करता है कि आपकी टीम कितने समय से इस पर काम कर रही है। विज्ञान-संचालित मॉडल सांख्यिकीय रूप से नहीं बनाए जाते हैं, वे गतिशील रूप से विकसित होते हैं क्योंकि एक अच्छा वैज्ञानिक हमेशा इसे सुधारने के तरीके खोजने की कोशिश करेगा।

ऊपरी प्रबंधन कर्मियों को पता होना चाहिए कि एक डेटा वैज्ञानिक अपनी गुणवत्ता को जाने बिना कभी-कभी / अक्सर नए तरीकों की खोज करता है । उन्हें पता होना चाहिए कि मशीन सीखने की तकनीक एकदम सही मॉडल का उत्पादन नहीं करती है। अगर वे करते हैं, तो यह वैसे भी चुनौतीपूर्ण नहीं होगा।

एक डेटा वैज्ञानिक का मूल्यांकन किया जाना चाहिए कि वह अपने परिणामों को कैसे उचित और चर्चा करता है और भविष्य की योजना कैसे बनाता है। प्रबंधन कर्मियों के लिए अपनी उम्मीदों के साथ काम करने का एक तरीका अनुचित रूप से उच्च नहीं होना है।

फिर भी, यदि संदर्भ के क्षेत्र में उचित परिणाम अपेक्षित हैं, तो इन प्रश्नों के बारे में सोचें:

  1. क्या समय के साथ परिणाम बेहतर होंगे?
  2. क्या भविष्य की उम्मीदें सकारात्मक हैं?
  3. समान प्रणालियों (प्रतिस्पर्धियों से) की तुलना में परिणाम कितने अच्छे हैं?

5

मुझे यह सवाल पसंद है क्योंकि यह हर संगठन में मौजूद राजनीति में मिलता है। मेरे विचार में और एक महत्वपूर्ण डिग्री के लिए, मॉडल के प्रदर्शन के बारे में अपेक्षाएं ऑर्गन संस्कृति और डिग्री का एक कार्य है जिसके लिए एक संगठन "तकनीकी रूप से साक्षर" है। यह स्पष्ट करने का एक तरीका है कि 4 बड़ी "डेटा विज्ञान" संस्थाओं - Google, FB, Amazon और Yahoo - के बीच 4 बड़ी एजेंसी - WPP, Omnicon, Interbrand और Publicis के बीच अंतरों पर विचार करने का मेरा क्या मतलब है। Google, एट अल, बहुत तकनीकी रूप से साक्षर हैं। दूसरी ओर, एजेंसियों को टेक फोबिया की ओर झुकाव के लिए जाना जाता है। इसके लिए क्या प्रमाण है? सबसे पहले, तकनीकी रूप से साक्षर समूह की स्थापना या इंजीनियरों, कंप्यूटर वैज्ञानिकों, गीक्स और मजबूत तकनीकी पृष्ठभूमि वाले लोगों द्वारा की गई। टेक अनपढ़ कंपनियों को कौन चलाता है? विपणक जो अपने नरम संचार और लोगों के कौशल के आधार पर प्रमुखता में बढ़ गए हैं। और इतना ही नहीं, NYC की इन कुछ दुकानों में काम करने के बाद, मैं गवाही दे सकता हूं कि ये संगठन व्यवस्थित रूप से दंडित करते हैं और / या उच्च तकनीकी रूप से साक्षर प्रकारों को बाहर निकालते हैं जो कि संस्कृति के साथ "फिट" नहीं है। इसके बाद, उनके कुल (स्टॉक) मार्केट कैप पर विचार करें, तकनीकी साक्षर समूह लगभग 800 बिलियन डॉलर जोड़ता है जबकि टेक अनपढ़ समूह 80 बिलियन तक। टेक साक्षर संस्थाएं मार्केट कैप में अन्य की तुलना में 10 गुना बड़ी हैं। यह बाजार की अपेक्षाओं का स्पष्ट विवरण है और निरक्षरों के लिए यह अधिक नहीं है। तो, एक्सट्रपलेशन के द्वारा, आप इस तरह के बोजोस की "भविष्य कहनेवाला सटीकता" उम्मीदों को चुनौती देने के लिए किस तरह की उम्मीद कर सकते हैं? NYC में इन कुछ दुकानों में काम करने के बाद, मैं गवाही दे सकता हूं कि ये संगठन व्यवस्थित रूप से दंडित करते हैं और / या उच्च तकनीकी रूप से साक्षर प्रकारों को धक्का देते हैं, जो कि संस्कृति के साथ "फिट" नहीं हैं। इसके बाद, उनके कुल (स्टॉक) मार्केट कैप पर विचार करें, तकनीकी साक्षर समूह लगभग 800 बिलियन डॉलर जोड़ता है जबकि टेक अनपढ़ समूह 80 बिलियन तक। टेक साक्षर संस्थाएं मार्केट कैप में अन्य की तुलना में 10 गुना बड़ी हैं। यह बाजार की अपेक्षाओं का स्पष्ट विवरण है और निरक्षरों के लिए यह अधिक नहीं है। तो, एक्सट्रपलेशन के द्वारा, आप इस तरह के बोजोस की "भविष्य कहनेवाला सटीकता" उम्मीदों को चुनौती देने के लिए किस तरह की उम्मीद कर सकते हैं? NYC में इन कुछ दुकानों में काम करने के बाद, मैं गवाही दे सकता हूं कि ये संगठन व्यवस्थित रूप से दंडित करते हैं और / या उच्च तकनीकी रूप से साक्षर प्रकारों को धक्का देते हैं, जो कि संस्कृति के साथ "फिट" नहीं हैं। इसके बाद, उनके कुल (स्टॉक) मार्केट कैप पर विचार करें, तकनीकी साक्षर समूह लगभग 800 बिलियन डॉलर जोड़ता है जबकि टेक अनपढ़ समूह 80 बिलियन तक। टेक साक्षर संस्थाएं मार्केट कैप में अन्य की तुलना में 10 गुना बड़ी हैं। यह बाजार की अपेक्षाओं का स्पष्ट विवरण है और निरक्षरों के लिए यह अधिक नहीं है। तो, एक्सट्रपलेशन के द्वारा, आप इस तरह के बोजोस की "भविष्य कहनेवाला सटीकता" उम्मीदों को चुनौती देने के लिए किस तरह की उम्मीद कर सकते हैं? उनके कुल (स्टॉक) मार्केट कैप पर विचार करें, तकनीकी साक्षर समूह लगभग 800 बिलियन डॉलर जोड़ता है जबकि टेक अनपढ़ समूह 80 बिलियन तक। टेक साक्षर संस्थाएं मार्केट कैप में अन्य की तुलना में 10 गुना बड़ी हैं। यह बाजार की अपेक्षाओं का स्पष्ट विवरण है और निरक्षरों के लिए यह अधिक नहीं है। तो, एक्सट्रपलेशन के द्वारा, आप इस तरह के बोजोस की "भविष्य कहनेवाला सटीकता" उम्मीदों को चुनौती देने के लिए किस तरह की उम्मीद कर सकते हैं? उनके कुल (स्टॉक) मार्केट कैप पर विचार करें, तकनीकी साक्षर समूह लगभग 800 बिलियन डॉलर जोड़ता है जबकि टेक अनपढ़ समूह 80 बिलियन तक। टेक साक्षर संस्थाएं मार्केट कैप में अन्य की तुलना में 10 गुना बड़ी हैं। यह बाजार की अपेक्षाओं का स्पष्ट विवरण है और निरक्षरों के लिए यह अधिक नहीं है। तो, एक्सट्रपलेशन के द्वारा, आप इस तरह के बोजोस की "भविष्य कहनेवाला सटीकता" उम्मीदों को चुनौती देने के लिए किस तरह की उम्मीद कर सकते हैं?

इसलिए, उस सांस्कृतिक ब्रेकआउट को देखते हुए और जहाँ आप गिरते हैं, उसके आधार पर, आपको कम या ज्यादा यथार्थवादी अपेक्षाएँ रखनी चाहिए। बेशक, अलग-अलग "टेक अनपढ़" संस्थाओं में प्रबंधक होंगे जो जानते हैं कि वे क्या कर रहे हैं, लेकिन अधिकांश भाग के लिए, इन संस्थाओं को तकनीकी कौशल में सबसे कम आम भाजक की मूर्खता का प्रभुत्व है, अर्थात, जो लोग सर्वोत्तम तकनीकी पर हैं अर्ध-साक्षर (और खतरनाक) या, अधिक सामान्यतः, पूरी तरह से असंख्य लेकिन यह नहीं जानते। इस मामले में, मैंने एक ऐसे व्यक्ति के लिए काम किया जो सी-सूट डेक से "सहसंबंध" जैसे शब्द चाहता था। यह एक चरम मामला है: आखिरकार, प्रत्येक सचिव जानता है कि "सहसंबंध" क्या है।

यह इस मुद्दे को उठाता है कि जब वे वास्तव में गूंगा सवाल पूछते हैं, तो "आप 99% की भविष्यवाणी की सटीकता क्यों नहीं प्राप्त कर रहे हैं?" एक अच्छी प्रतिक्रिया एक सवाल के साथ जवाब देना है, जैसे "आप इस तरह के एक अविश्वसनीय उच्च पीए को क्यों मानेंगे?" एक और हो सकता है, "क्योंकि अगर मुझे वास्तव में 99% पीए मिलता है, तो मुझे लगता है कि मैं कुछ गलत कर रहा था।" जो कि 90% पीए के साथ भी सही होने की संभावना है।

मॉडल मूल्य के लिए एकमात्र मानदंड के रूप में पीए पर जोर देने का अधिक मौलिक प्रश्न है। दिवंगत लियो ब्रिमन ने सांख्यिकीय और पूर्वानुमानात्मक मॉडलिंग समुदाय पर कई पदचिह्न छोड़ दिए जिनमें से पीए एक है। पीए के साथ उनकी प्राथमिक चिंता 90 के दशक में एक एकल कार्ट के पेड़ को चलाने में निहित अस्थिरता और त्रुटि के बारे में की जा रही कई आलोचनाओं को संबोधित करना था। उनका समाधान "यादृच्छिक जंगलों" को एक अनुमानित और अनंतिम विधि के रूप में प्रेरित करना था जो पेड़ की संरचना को समाप्त करके सटीकता को अधिकतम करेगा और अस्थिरता को कम करेगा। उन्होंने एकल लॉजिस्टिक रिग्रेशन मॉडल से त्रुटि के खिलाफ ~ 1,000 पुनरावृत्त आरएफ "मिनी-मॉडल" से निचले एमएसई को बेंचमार्क किया। एकमात्र समस्या यह थी कि उन्होंने कभी भी संतरे की तुलना करने के लिए चमकदार सेब का उल्लेख करने की जहमत नहीं उठाई:

2008 के नेटफ्लिक्स पुरस्कार ने किसी भी सांख्यिकीविद या टीम के लिए एक बड़े पैमाने पर मौद्रिक पुरस्कार की पेशकश की, जो कि उनके सिफारिश प्रणाली के MSE में सुधार करने में सक्षम है। उस समय, नेटफ्लिक्स इस प्रणाली पर प्रति वर्ष $ 150 मिलियन खर्च कर रहा था, यह आश्वस्त करता था कि लागत ग्राहक की वफादारी और फिल्मों की खरीद में बरामदगी से अधिक थी जो अन्यथा कभी नहीं चुनी गई थीं। अंतिम विजेताओं ने 107 विभिन्न मॉडलों का एक जटिल पहनावा इस्तेमाल किया।

हालाँकि, नेटफ्लिक्स ने सीखा कि, वास्तविक समस्या यह थी कि, एक पूरी तरह से भरी हुई लागत के नजरिए से, उनके वर्तमान मॉडल पर त्रुटि में वास्तविक सुधार 5 बिंदु रेटिंग में केवल 0.005% की कमी थी। यह उल्लेख नहीं करने के लिए कि समय में आईटी की लागत, भारी-उठाने और 107 मॉडलों के जीतने वाले अनुरक्षण के रखरखाव में त्रुटि में कमी से किसी भी लाभ को शून्य कर दिया गया है। इसे देखते हुए, नेटफ्लिक्स ने अंततः एमएसई का पीछा छोड़ दिया और कोई और अधिक नेटफ्लिक्स पुरस्कार नहीं दिया गया

और यह वह बिंदु है: पूर्वानुमानित त्रुटि को आसानी से कम किया जा सकता है या पी-हैक किया जा सकता है और विश्लेषक धोखाधड़ी का खतरा होता है (यानी, ऐसा समाधान खोजना जो विश्लेषक के मॉडलिंग कौशल को महिमा प्रदान करता है, सकारात्मक रूप से उसके संभावित अंत-वर्ष के बोनस को प्रभावित करता है)। इसके अलावा, यह एक आर्थिक और व्यावसायिक निर्वात में पूरी तरह से सांख्यिकीय समाधान और लक्ष्य है। मीट्रिक सहायक, संपार्श्विक लागत का बहुत कम या कोई विचार नहीं प्रदान करता है - ए से जेड तक मूल्यांकन किए गए बहुत वास्तविक परिचालन परिणाम जो किसी भी पूर्ण-लोड, ट्रेड-ऑफ आधारित निर्णय लेने की प्रक्रिया का एक अभिन्न अंग होना चाहिए।

यह उन मुद्दों में से एक बन गया है जो संगठनों में अंतर्निहित है और बदलना बहुत मुश्किल है। दूसरे शब्दों में, मुझे पूरी तरह से पता है कि मैं पीए के उपयोग के साथ केवेट के बारे में इस शेख़ी के साथ पवनचक्की में झुका रहा हूँ।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.