कैसे एक "आत्म पराजित" भविष्यवाणी मॉडल को संभालने के लिए?

Question

मैं एक प्रमुख रिटेलर से एक एमएल विशेषज्ञ द्वारा एक प्रस्तुति देख रहा था, जहां उन्होंने स्टॉक इवेंट्स के बारे में भविष्यवाणी करने के लिए एक मॉडल विकसित किया था।

आइए एक पल के लिए मान लें कि समय के साथ, उनका मॉडल बहुत सटीक हो जाता है, क्या यह किसी भी तरह "आत्म-पराजय" नहीं होगा? यही है, अगर मॉडल वास्तव में अच्छी तरह से काम करता है, तो वे स्टॉक घटनाओं से बाहर निकलने और उन्हें टालने में सक्षम होंगे, अंत में एक बिंदु पर पहुंचेंगे जहां उनके पास स्टॉक घटनाओं से कम या बिल्कुल बाहर नहीं है। लेकिन फिर अगर ऐसा है, तो उनके मॉडल को चलाने के लिए पर्याप्त ऐतिहासिक डेटा नहीं होगा, या उनका मॉडल पटरी से उतर जाता है, क्योंकि एक ही कारण कारक जो स्टॉक आउट घटना को इंगित करने के लिए उपयोग नहीं करते हैं।

ऐसे परिदृश्य से निपटने के लिए क्या रणनीति है?

इसके अतिरिक्त, कोई भी विपरीत परिस्थिति की कल्पना कर सकता है: उदाहरण के लिए, एक सिफारिश करने वाला सिस्टम "स्व-पूर्ति भविष्यवाणी" बन सकता है, सिफारिशकर्ता प्रणाली के आउटपुट द्वारा संचालित आइटम जोड़े की बिक्री में वृद्धि के साथ, भले ही दो आइटम वास्तव में ऐसा न हों। सम्बंधित।

यह मुझे लगता है कि दोनों एक प्रकार के फीडबैक लूप के परिणाम हैं जो कि भविष्यवक्ता के उत्पादन और उसके आधार पर की जाने वाली क्रियाओं के बीच होता है। इस तरह की स्थितियों से कोई कैसे निपट सकता है?

Comments

(+1) उच्च शिक्षा से जुड़े कुछ अनुरूप परिस्थितियों में, लोग एक मॉडल के बारे में बात करते हैं "खुद को कैनाबलाइज़ करना।" कॉलेज के अधिकारी, मॉडल का उपयोग करते हुए, कुछ नामांकन और वित्तीय सहायता से संबंधित लक्ष्यों को प्राप्त करने के लिए वित्तीय सहायता प्रदान करते हैं, केवल यह पता लगाने के लिए कि आखिरकार, संभावित छात्रों के नामांकन के फैसले वित्तीय सहायता पुरस्कार से कम या कम अनुमानित होते हैं। ।

— rolando2

यह प्रश्न सामान्य रूप से उत्तर देना कठिन है, क्योंकि यह स्थिति पर काफी निर्भर करता है। स्टॉकआउट के मामले में अच्छे समाधान हैं, लेकिन अनुशंसाओं के मामले में बस एक बड़ी समस्या नहीं हो सकती है यदि आपका मॉडल थोड़ा सा संकल्पनात्मक हो जाए।

— डेनिस जहरुद्दीन

Answer 1

ऐसी दो संभावनाएँ हैं जिनके द्वारा एक आउट-ऑफ-स्टॉक (OOS) डिटेक्शन मॉडल स्व-पटरी से उतर सकता है:

1. इनपुट और OOS के बीच का संबंध समय के साथ बदल सकता है। उदाहरण के लिए, पदोन्नति से उच्च OOS हो सकता है (प्रचार बिक्री नियमित रूप से बिक्री की तुलना में भविष्यवाणी करना कठिन है, क्योंकि न केवल औसत बिक्री में वृद्धि होती है, बल्कि बिक्री का विचरण भी होता है, और "कठिन-से-भविष्यवाणी" अक्सर ओओएस में अनुवाद करता है), लेकिन सिस्टम और उसके उपयोगकर्ता इसे सीख सकते हैं और प्रचार के लिए अतिरिक्त स्टॉक में लेट सकते हैं। थोड़ी देर के बाद, पदोन्नति और OOS के बीच मूल संबंध कोई और नहीं रखता है।

   इसे अक्सर "मॉडल शिफ्ट" या समान कहा जाता है । आप अपने मॉडल को अपनाकर इसे दूर कर सकते हैं। सबसे आम तरीका अलग-अलग वजन का होता है, जो पुरानी टिप्पणियों को कम वजन देता है।

2. यहां तक ​​कि अगर एक भविष्यवक्ता और OOS के बीच संबंध नहीं बदलता है, तो भविष्यवक्ता का वितरण हो सकता है। उदाहरण के लिए, किसी विशेष स्टॉक कीपिंग यूनिट (SKU) की शून्य बिक्री के साथ कई दिनों के लिए एक OOS का संकेत हो सकता है - लेकिन यदि मॉडल अच्छा प्रदर्शन करता है, तो OOS पूरे बोर्ड में कम हो सकता है, और बस शून्य बिक्री के कई अनुक्रम नहीं हो सकते हैं ।

   एक भविष्यवक्ता के वितरण में परिवर्तन एक समस्या नहीं होनी चाहिए। आपका मॉडल बस OOS की कम संभावना का उत्पादन करेगा।

---

अंत में, आपको शायद अधिक चिंता करने की आवश्यकता नहीं है। कभी भी शून्य OOS नहीं होगा। फीडबैक मैकेनिज्म जैसे ऊपर वाले होते हैं, लेकिन वे तब तक काम नहीं करेंगे जब तक ओओएस पूरी तरह से खत्म नहीं हो जाते।

• कुछ लंबित ओओएस केवल औसतन नहीं हो सकते हैं। "मेरी शेल्फ पर एक इकाई है और संभवत: आने वाले सप्ताह में पांच की मांग का सामना करना पड़ेगा, लेकिन अगली डिलीवरी आज से केवल एक सप्ताह बाद होगी।"
• कुछ ओओएस हो जाएगा बहुत का अनुमान लगाना कठिन, भले ही वे कर रहे हैं टालने योग्य है, अगर वे समय में जाना जाता था। "अगर हम जानते थे कि हम फोर्कलिफ्ट से फूस को छोड़ देंगे और सभी उत्पाद को नष्ट कर देंगे, तो हम एक और ऑर्डर करेंगे।"
• रिटेलर्स समझते हैं कि उन्हें उच्च सेवा स्तर के लिए लक्ष्य बनाने की आवश्यकता है, लेकिन यह 100% प्राप्त करने योग्य नहीं है। लोग आते हैं और कुछ उत्पादों पर आपके पूरे स्टॉक को खरीदते हैं। यह पूर्वानुमान (ऊपर देखें) के लिए कठिन है और पर्याप्त रूप से दुर्लभ है कि आप ऑफ शेल पर अपनी अलमारियों को भरना नहीं चाहते हैं ऐसा हो सकता है। पेरेटो के नियम की तुलना करें: 80% (या 90%) का सेवा स्तर हासिल करना बहुत आसान है, लेकिन 99.9% बहुत कठिन है। कुछ OOS को जानबूझकर अनुमति दी जाती है।
• मूर के कानून के समान कुछ है : बेहतर एमएल बन जाता है, अधिक अपेक्षाएं बढ़ जाएंगी, और कठिन लोग मॉडल के लिए जीवन बना देंगे। जबकि OOS डिटेक्शन (और पूर्वानुमान) एल्गोरिदम में सुधार होता है, खुदरा विक्रेता हमारे जीवन को और अधिक कठिन बनाने में व्यस्त हैं।
  • उदाहरण के लिए विभिन्न प्रसार के माध्यम से। बीस अलग-अलग स्वादों की तुलना में दही के चार स्वादों पर ओओएस का पता लगाना आसान है। क्यूं कर? क्योंकि लोग पांच बार उतना दही नहीं खाते हैं। इसके बजाय, बहुत ज्यादा अपरिवर्तित कुल मांग अब कई SKU के रूप में पांच गुना वितरित की जाती है, और प्रत्येक SKU का स्टॉक पहले की तुलना में पांचवां है। लंबी पूंछ का विस्तार हो रहा है, और संकेत कमजोर हो रहे हैं।
  • या अपने स्वयं के डिवाइस का उपयोग करके मोबाइल चेकआउट की अनुमति देकर। यह खरीदारी करने के लिए मनोवैज्ञानिक बाधाओं को अच्छी तरह से कम कर सकता है , इसलिए सिस्टम इन्वेंट्रीज पहले से भी बदतर होंगे , और निश्चित रूप से, सिस्टम इन्वेंटरी संभवतः ओओएस के लिए सबसे अच्छा भविष्यवक्ता हैं, इसलिए यदि वे बंद हैं, तो मॉडल खराब हो जाएगा।

मुझे लगता है कि अब बारह साल से अधिक के लिए खुदरा बिक्री का पूर्वानुमान लगाने में काम कर रहा हूं, इसलिए मुझे इस तरह के घटनाक्रम के बारे में थोड़ा सा पता है।

---

मैं निराशावादी हो सकता हूं, लेकिन मुझे लगता है कि ओओएस डिटेक्शन की तुलना में अन्य एमएल उपयोग मामलों के लिए बहुत समान प्रभाव काम पर हैं। या शायद यह निराशावाद नहीं है: इसका मतलब है कि समस्याओं की संभावना "हल" कभी नहीं होगी, इसलिए अभी भी दशकों से हमारे लिए अभी भी काम करना होगा।

Comments

मैं विशेष रूप से आपकी अंतिम टिप्पणी से सहमत हूं। इस परिदृश्य का सबसे खराब स्थिति पूर्ण रोजगार / बिना किसी लंच के प्रमेय के लिए शुरुआती बिंदु की तरह लगता है। जो यह एक दिलचस्प सवाल IMO बनाता है!

— प्रेषित

Answer 2

यदि आप एक मॉडल के लिए एक प्रणाली में हस्तक्षेप के बारे में निर्णय का समर्थन करने के प्रयोग कर रहे हैं, तो तार्किक रूप से, मॉडल परिणाम की भविष्यवाणी करने लेनी चाहिए वातानुकूलित किसी दिए गए हस्तक्षेप पर। फिर अलग से, आपको सर्वोत्तम अपेक्षित परिणाम के साथ हस्तक्षेप का चयन करने के लिए अनुकूलन करना चाहिए । आप अपने स्वयं के हस्तक्षेप की भविष्यवाणी करने की कोशिश नहीं कर रहे हैं।

इस मामले में, मॉडल मांग की भविष्यवाणी कर सकता है (चर जिसे आप सीधे नियंत्रित नहीं करते हैं) और यह, स्टॉकिंग पसंद के साथ संयोजन में, आउट-ऑफ-स्टॉक घटना होने या न होने के परिणामस्वरूप होगा। मॉडल को सही ढंग से मांग की भविष्यवाणी के लिए "पुरस्कृत" होना जारी रखना चाहिए क्योंकि यह इसका काम है। आउट-ऑफ-स्टॉक ईवेंट्स आपकी स्टॉकिंग पसंद के साथ इस चर पर निर्भर करेगा ।

Comments

यह वास्तव में यह कैसे व्यवहार में हल किया जाता है। एक ब्लैक बॉक्स मॉडल जो ड्राइविंग कारकों की समझ प्रदान नहीं करेगा, लेकिन सिर्फ यह अनुमान लगाता है कि वेडनसडे को स्टॉकआउट होगा, अगर लोगों की धारणाओं को समझ नहीं सकते तो इसका बहुत सीमित उपयोग होगा। (एक महत्वपूर्ण धारणा यह है कि मॉडल जगह में नहीं है)।

— डेनिस जहरुद्दीन

@ डेनिसजेरुद्दीन: दूसरी ओर, एक मॉडल बनाएं जो भविष्यवाणी कर सकता है कि उत्पाद एक समय पर पुनः ऑर्डर के बावजूद स्टॉक से बाहर हो जाएगा और आप एक हत्या कर सकते हैं।

— यहोशू

यह उससे थोड़ा अधिक जटिल है, क्योंकि उन्होंने जिस मॉडल का उपयोग किया था, उसमें मांग संकेत केवल एक कारक था। लेकिन वे अन्य कारकों का भी उपयोग करते थे, स्टोर की स्थितियों के आधार पर, उन स्थितियों का हिसाब लगाने के लिए जहां स्टॉक स्टोर में था, लेकिन शेल्फ पर नहीं (उदाहरण के लिए बैकरूम में, या कैश रजिस्टर या सर्विस डेस्क में से एक पर क्योंकि ग्राहक बदल गया अंतिम समय में उनका दिमाग)। उसके लिए, वे सिर्फ मांग नहीं बल्कि अन्य कारण चालकों का भी उपयोग कर रहे थे।

— मोनिका

@ वह जटिलता जो विभिन्न स्थानों को नियंत्रित करने वाली सरल आपूर्ति / मांग तंत्र के एक नेटवर्क के लिए उपयुक्त है, चाहे मॉडल स्पष्ट रूप से उनका प्रतिनिधित्व करता हो या नहीं। मॉडल का उद्देश्य स्टॉक के स्तर की भविष्यवाणी करने के रूप में अधिक सटीक रूप से वर्णित है, मांग नहीं, लेकिन यह केवल तब प्रासंगिक हो जाता है जब आप विशेष रूप से विचार कर रहे हों कि नेटवर्क में आपूर्ति और मांग दोनों में अनियंत्रित कारक हैं (स्टॉक) जहां स्टॉक है स्तर मायने रखता है। अधिक स्टॉक ऑर्डर करने या कर्मचारियों को नियमित रूप से अलमारियों को फिर से भरने जैसे हस्तक्षेप अभी भी मॉडल में कारक होने की आवश्यकता है।

— विल

आप इस संभावना का उल्लेख करना चाहते हैं कि मांग स्टॉक के साथ भिन्न हो सकती है।

— याक्क

Answer 3

मुमकिन है कि आप रेस्क्यू ईवेंट्स को ट्रैक कर सकते हैं। तब यह सिर्फ अंकगणित की बात है कि जब स्टॉक खत्म हो जाएगा तो इन्वेंट्री को दोबारा इस्तेमाल करने के लिए मॉडल का इस्तेमाल नहीं किया जाएगा।

यह मानता है कि किसी भी सकारात्मक स्टॉक का स्तर बिक्री के स्तर से स्वतंत्र है। एक टिप्पणीकार का कहना है कि यह धारणा वास्तविकता में नहीं है। मुझे कोई रास्ता नहीं पता - मैं खुदरा डेटा सेट पर काम नहीं करता। लेकिन सरलीकरण के रूप में, मेरे प्रस्तावित दृष्टिकोण ने प्रतिपक्षीय तर्क का उपयोग करते हुए एक निष्कर्ष निकालने की अनुमति दी; चाहे या नहीं यह सरलीकरण बहुत ही अवास्तविक है कि सार्थक अंतर्दृष्टि आप पर निर्भर है।

Comments

मुझे लगता है कि मैं यह नहीं देखता कि यह सवाल का जवाब कैसे देता है। समस्याओं के रूप में मैं उन्हें समझता हूं: (ए) उत्पादन में मॉडल को लागू करने के बाद, स्टॉकआउट के लिए इष्टतम भविष्यवाणी समारोह अब पहले की तुलना में पूरी तरह से अलग है, क्योंकि हमने डेटा वितरण को बदल दिया था; (b) हमारा मॉडल जितना बेहतर होगा, उतने ही दुर्लभ स्टॉकआउट ईवेंट बनेंगे, और इसलिए जितना मुश्किल यह होगा कि वे आगे बढ़ने की सही भविष्यवाणी करेंगे। "जब स्टॉक खत्म हो जाएगा, यह जानकर कि मॉडल को इन्वेंट्री को पुनर्स्थापित करने के लिए उपयोग नहीं किया गया था" न तो यहां है और न ही क्योंकि मॉडल अभी से उत्पादन में है

— जेक वेस्टफॉल

@ जेकवेस्टफॉल इस प्रकार के विश्लेषण को जवाबी तर्क कहा जाता है। यदि आप हर समय इन्वेंट्री को जानते हैं, और आप जानते हैं कि यह कब दोबारा शुरू होता है, तो आप एक ऐसा काउंटरफ़ेक्चुअल बना सकते हैं, जो यह बताता है कि रिस्टॉकिंग घटित नहीं हुआ है: रेस्टॉक होने के बाद इन्वेंट्री से रिस्टॉक को घटाएं। अब आपके पास एक समय श्रृंखला है जो उस स्थिति को दर्शाती है जिसे आपने कभी नहीं देखा था। स्टॉकआउट तक इस समय-श्रृंखला को आगे बढ़ाएं। अब आप जानते हैं कि जब कोई स्टॉकआउट बिना रोक-टोक के हुआ होगा। इस जवाबी कार्रवाई का एक अलग डेटा वितरण कैसे होता है?

— मोनिका

मुझे वो सब समझ में आ रहा है। मुझे समझ में नहीं आता है कि यह ओपी में उठाए गए मुद्दों को कैसे हल करता है। उदाहरण के लिए, मान लें कि स्टॉकआउट का एक मजबूत भविष्यवक्ता यह है कि क्या यह एक महीने का पहला दिन है (जब कई लोगों को भुगतान किया जाता है)। अपने नए मॉडल का उपयोग करते हुए, अब हम इन स्टॉकआउट घटनाओं को प्रत्येक महीने के अंत में अधिक इकाइयों के लिए प्रीमेचेटिक रूप से आदेश देकर बच सकते हैं। इसलिए अब "महीने का पहला दिन" अब आगे बढ़ने वाले स्टॉकआउट का एक उपयोगी भविष्यवक्ता नहीं होगा। हम वास्तव में महीने के पहले पर एक स्टॉकआउट की जवाबी संभावना की गणना कर सकते थे जिसे हमने पूर्व में आदेश नहीं दिया था, लेकिन यह वास्तव में हमारी कैसे मदद करता है?

— जेक वेस्टफेल

यह हमारी मदद करता है क्योंकि यह आपको एक स्टॉकआउट की एक प्रतिकूल संभावना देता है जिसमें रेस्टॉक नहीं था। ओपी पूछ रहा है कि "कैसे निपटें" इस तथ्य से कि स्टॉक आउट की घटनाओं को कम करने वाले मॉडल में कच्चे डेटा में स्टॉकआउट की कई घटनाएं नहीं होंगी। मेरा कहना है कि आप स्टॉकआउट के प्रतिपक्षीय घटना के बारे में अनुमान लगा सकते हैं, और सरोगेट के रूप में इसका उपयोग कर सकते हैं। आप किस तरह की मदद चाहते थे?

— मोनिका

@ साइकोरैक्स: आप मानते हैं कि शेल्फ पर दिखाई देने वाली वस्तुओं की संख्या से क्रेता का व्यवहार प्रभावित नहीं होता है। यह एक अवैध धारणा है। प्रभाव कमजोर हो सकता है, लेकिन यह अनुपस्थित नहीं है।

— बेन वोइगट

Answer 4

आपका परिदृश्य अर्थशास्त्र में लुकास क्रिटिक के समान है । मशीन लर्निंग में, इसे " डेटासेट शिफ्ट " कहा जाता है ।

आप इसे दूर कर सकते हैं, जैसा कि @ साइकोरैक्स कहते हैं, स्पष्ट रूप से इसे मॉडलिंग करके।

Answer 5

एक बात याद रखें कि एमएल एक वाद्य लक्ष्य है। अंत में, हम स्टॉक घटनाओं से बाहर की भविष्यवाणी नहीं करना चाहते हैं, हम स्टॉक घटनाओं से बचना चाहते हैं। स्टॉक घटनाओं से बाहर निकलना केवल उस अंत का एक साधन है। जहाँ तक टाइप II त्रुटियों का सवाल है, यह कोई समस्या नहीं है। या तो हमारे पास OOSE होना जारी है, जिस स्थिति में हमारे पास हमारे मॉडल को प्रशिक्षित करने के लिए डेटा है, या हम नहीं करते हैं, जिसमें मॉडल को संबोधित करने के लिए बनाई गई समस्या हल हो गई है। एक समस्या क्या हो सकती है टाइप I त्रुटियाँ। एक भालू गश्ती में गिरना आसान हैगिरावट, जहां आपके पास एक सिस्टम एक्स है जो वाई को रोकने के लिए बनाया गया है, आप वाई को नहीं देखते हैं, इसलिए आप निष्कर्ष निकालते हैं कि एक्स वाई को रोकता है, और एक्स को बंद करने के किसी भी प्रयास को इस आधार पर खारिज कर दिया जाता है "लेकिन यह इतना अच्छा काम कर रहा है Y को रोकना! " संगठनों को महंगे कार्यक्रमों में बंद किया जा सकता है क्योंकि कोई भी जोखिम नहीं लेना चाहता है कि वाई वापस आ जाएगा, और यह पता लगाना मुश्किल है कि क्या एक्स उस संभावना की अनुमति के बिना वास्तव में आवश्यक है या नहीं।

यह तब ट्रेड-ऑफ हो जाता है कि आप एक नियंत्रण समूह को प्राप्त करने के लिए कभी-कभार (अपने मॉडल के अनुसार) उप-व्यवहार को अपनाने के लिए कितना तैयार हैं। यह किसी भी सक्रिय अन्वेषण का हिस्सा है: यदि आपके पास एक दवा है जो आपको लगता है कि प्रभावी है, तो आपके पास एक नियंत्रण समूह होना चाहिए जो यह पुष्टि करने के लिए दवा नहीं पा रहा है कि यह वास्तव में प्रभावी है।