वितरण के बीच कोलमोगोरोव के लिए प्रेरणा

Question

यह मापने के कई तरीके हैं कि समान संभावना वाले दो वितरण कैसे हैं। उन विधियों में से जो लोकप्रिय हैं (अलग-अलग मंडलियों में):

1. कोलमोगोरोव दूरी: वितरण कार्यों के बीच की दूरी;

2. कांटोरोविच-रूबिनस्टीन दूरी: उम्मीदों के बीच का अधिकतम अंतर लिप्सकैट स्थिरांक साथ कार्यों के दो वितरणों को प्रभावित करता है, जो कि वितरण कार्यों के बीच एल 1 दूरी भी निकलता है ;$1$$L^1$

3. बाउंडेड-लिप्सात्ज़ दूरी: केआर दूरी की तरह, लेकिन फ़ंक्शंस को भी अधिकतम पर पूर्ण मान होना आवश्यक है ।$1$

इनके अलग-अलग फायदे और नुकसान हैं। केवल 3. के अर्थ में अभिसरण वास्तव में वितरण में अभिसरण के लिए सटीक रूप से मेल खाता है; 1. या 2. के अर्थ में अभिसरण सामान्य रूप से थोड़ा मजबूत है। (विशेष रूप से, यदि संभावना1 केसाथ, तोXnवितरण में0मेंपरिवर्तित होता है, लेकिन कोलमोगोरोव दूरी में नहीं। हालाँकि, यदि सीमा वितरण निरंतर है तो यह विकृति नहीं होती है।)$X_n=\frac{1}{n}$$1$$X_n$$0$

प्राथमिक संभावना या माप सिद्धांत के दृष्टिकोण से, 1. बहुत स्वाभाविक है क्योंकि यह कुछ सेट में होने की संभावनाओं की तुलना करता है। दूसरी ओर, अधिक परिष्कृत संभाव्य परिप्रेक्ष्य, संभावनाओं की अपेक्षा अपेक्षाओं पर अधिक ध्यान केंद्रित करता है। इसके अलावा, कार्यात्मक विश्लेषण के दृष्टिकोण से, कुछ फ़ंक्शन स्थान के साथ द्वैतता पर आधारित 2. या 3. जैसी दूरियां बहुत आकर्षक हैं, क्योंकि ऐसी चीजों के साथ काम करने के लिए गणितीय साधनों का एक बड़ा समूह है।

हालांकि, मेरी धारणा (सही है कि अगर मैं गलत हूं तो!) यह है कि आंकड़ों में, कोलमोगोरोव दूरी वितरण की समानता को मापने का आमतौर पर पसंदीदा तरीका है। मैं एक कारण का अनुमान लगा सकता हूं: यदि वितरण में से एक परिमित समर्थन के साथ असतत है - विशेष रूप से, यदि यह कुछ वास्तविक दुनिया डेटा का वितरण है - तो एक मॉडल वितरण के लिए कोलमोगोरोव दूरी गणना करना आसान है। (केआर की दूरी की गणना करना थोड़ा कठिन होगा, और बीएल दूरी व्यावहारिक रूप से असंभव होगी।)

तो मेरा सवाल (अंत में), क्या अन्य कारण हैं, या तो व्यावहारिक या सैद्धांतिक हैं, सांख्यिकीय उद्देश्यों के लिए कोलमोगोरोव दूरी (या कुछ अन्य दूरी) का पक्ष लेना है?

Comments

मुझे सवाल पसंद है, सवाल में सबसे संभावित उत्तर पहले से ही हो सकता है ... क्या आपके पास उत्तर के प्रकार / विकास का एक विचार है जो आप चाहते हैं?

— रॉबिन जिरार्ड

विशेष रूप से नहीं। मैं आँकड़ों से काफी अनभिज्ञ हूँ और मेरे पूछने का एक कारण यह है कि सीखने के लिए कौन से मापदंड का उपयोग विभिन्न मैट्रिक्स के बीच चुनने के लिए किया जाएगा। चूंकि मैंने पहले से ही 1 के एक महत्वपूर्ण व्यावहारिक लाभ का वर्णन किया था (आप वास्तव में इसकी गणना कर सकते हैं) मैं विशेष रूप से सैद्धांतिक प्रेरणाओं में रुचि रखता हूं। कहो, क्या कोलमोगोरोव दूरी के अनुमान द्वारा प्रदान की गई जानकारी अक्सर अनुप्रयोगों में प्रत्यक्ष उपयोग है?

— मार्क मेक्स जूल 22'10

मैं कम या ज्यादा स्पष्ट के साथ अपनी पिछली टिप्पणी को समाप्त करना भूल गया: और यदि हां, तो कैसे?

— मार्क मेकस

मैंने ऊपर अपनी लंबी टिप्पणी को फिर से प्रकाशित किया और महसूस किया कि मैंने जो अंतिम प्रश्न उठाया है, वह सैद्धांतिक रूप से उतना ही व्यावहारिक है। किसी भी मामले में, यह उन मुद्दों में से एक है जिनके बारे में मुझे जानने में दिलचस्पी होगी।

— मार्क मेकस

मुझे पता है कि आपका मतलब थकावट भरा नहीं था, लेकिन आप एंडरसन डार्लिंग स्टेटिस्टिक जोड़ सकते हैं (देखें en.wikipedia.org/wiki/Anderson%E2%80%93Darling_test )। इसने मुझे एक पेपर से याद दिलाया जोगर और वेलनर (देखें projecteuclid.org/… ), जो विस्तार करता है / सामान्यीकरण एंडरसन डार्लिंग स्टेटिस्टिक्स (और विशेष रूप से टके की उच्च आलोचना में शामिल है) ...

— रॉबिन गिर्ल

Answer 1

निशान,

जिसका मुख्य कारण मैं केएस के उपयोग के लिए जागरूक हूं, क्योंकि यह प्राकृतिक रूप से अविभाज्य अनुभवजन्य प्रक्रियाओं में ग्लेवेनको-केंटेली प्रमेयों से उत्पन्न होता है। एक संदर्भ जो मैं सुझाऊँगा, वह है अवावन डेर वार्ट "एसिम्प्टोटिक सांख्यिकी", ch। 19. वेलनर और वैन डेर वार्ट द्वारा एक अधिक उन्नत मोनोग्राफ "कमजोर अभिसरण और अनुभवजन्य प्रक्रियाएं" है।

मैं दो त्वरित नोट्स जोड़ूंगा:

1. दूरी का एक और उपाय जो आमतौर पर अनिवारीट डिस्ट्रीब्यूशन में उपयोग किया जाता है, वह है क्रैमर-वॉन मिल्स दूरी, जो कि L ^ 2 दूरी है;
2. सामान्य वेक्टर स्थानों में विभिन्न दूरी कार्यरत हैं; कई पत्रों में रुचि का स्थान पॉलिश है। एक बहुत अच्छा परिचय है बिलिंग्सले का "कन्वर्जेन्स ऑफ़ प्रोबेबिलिटी मीजर्स"।

मैं माफी माँगता हूँ अगर मैं और अधिक विशिष्ट नहीं हो सकता। आशा है कि ये आपकी मदद करेगा।

Comments

अपने नोट्स पर दो त्वरित नोट्स। 1. सी-वीएम की दूरी कोलमोगोरोव (एल ^ इन्फिनिटी) के एल ^ 2 चचेरे भाई और (यूनीवेट) केआर (एल ^ 1) की दूरी है, और इसलिए उनके बीच अंतर होता है। 2. एक फायदा मैंने केआर और बीएल दूरियों का उल्लेख नहीं किया है कि वे उच्चतर आयामी स्थानों के लिए अधिक स्वाभाविक रूप से सामान्यीकरण करते हैं।

— मार्क मेकस

1. के बारे में, यह सही है। के बारे में 2. सिद्धांत रूप में उपरोक्त सभी दूरियां R ^ n तक ले जा सकती हैं, हालांकि मुझे किसी भी दूरी के आधार पर लोकप्रिय गैर-पैरामीट्रिक परीक्षणों का पता नहीं है । यह जानना दिलचस्प होगा कि क्या कोई है।

— गप्पे

Answer 2

कम्प्यूटेशनल मुद्दे सबसे मजबूत तर्क हैं जिन्हें मैंने एक या दूसरे तरीके से सुना है। कोलमोगोरोव दूरी का एकमात्र सबसे बड़ा लाभ यह है कि किसी भी सीडीएफ के लिए विश्लेषणात्मक रूप से गणना करना बहुत आसान है। गौसियन मामले में, कभी-कभी, को छोड़कर अधिकांश अन्य दूरी के मैट्रिक्स में एक बंद-प्रपत्र अभिव्यक्ति नहीं होती है।

एक नमूने की कोलमोगोरोव दूरी भी एक ज्ञात नमूना वितरण है जिसे सीडीएफ दिया गया है (मुझे नहीं लगता कि अधिकांश अन्य करते हैं), जो कि वीनर प्रक्रिया से संबंधित है। यह एक वितरण या दो नमूनों को एक दूसरे से तुलना करने के लिए कोलमोगोरोव-स्मरनॉफ परीक्षण का आधार है।

एक अधिक कार्यात्मक-विश्लेषण नोट पर, सुपर मानदंड इसमें अच्छा है (जैसा कि आप उल्लेख करते हैं) यह मूल रूप से एकसमान अभिसरण को परिभाषित करता है। यह आपको रूढ़िवादी अभिसरण के साथ मानक अभिसरण के साथ छोड़ देता है, और इसलिए यदि आप इस बारे में चतुर हैं कि आप अपने फ़ंक्शन अनुक्रमों को कैसे परिभाषित करते हैं तो आप एक आरकेएचएस के भीतर काम कर सकते हैं और सभी अच्छे उपकरणों का उपयोग कर सकते हैं जो कि प्रदान करता है।

Answer 3

एक सारांश के रूप में , मेरा उत्तर है: यदि आपके पास एक स्पष्ट अभिव्यक्ति है या यह पता लगा सकता है कि आपकी दूरी कैसे मापी जा रही है (यह "अंतर" क्या होता है), तो आप कह सकते हैं कि यह किसके लिए बेहतर है। इस तरह के परीक्षण का विश्लेषण और तुलना करने का एक अन्य पूरक तरीका न्यूनतम सिद्धांत है।

अंत में कुछ परीक्षण कुछ विकल्पों के लिए और कुछ दूसरों के लिए अच्छे होंगे। विकल्पों के दिए गए सेट के लिए यह दिखाने के लिए कुछ समय संभव है कि क्या आपके परीक्षण में सबसे खराब स्थिति में इष्टतम संपत्ति है: यह न्यूनतम सिद्धांत है।

---

कुछ विवरण

इसलिए मैं दो अलग-अलग परीक्षणों के गुणों के बारे में बता सकता हूं कि वैकल्पिक के सेट के बारे में जिसके लिए वे मिनिमैक्स हैं (यदि ऐसा कोई विकल्प मौजूद है) अर्थात (डोनो और जिन शब्द का उपयोग करके) उनके "इष्टतम पता लगाने वाली बाउड्री" http: // की तुलना करके। projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1085408492 ।

मुझे दूरी से दूरी तय करने दें:

1. केएस दूरी अनुभवजन्य सीएफडी और सीएफडी के बीच अंतर के वर्चस्व की गणना प्राप्त की जाती है। एक सप्रेम होने के नाते यह स्थानीय विकल्पों (cdf में स्थानीय परिवर्तन) के लिए अत्यधिक संवेदनशील होगा, लेकिन वैश्विक परिवर्तन के साथ नहीं (कम से कम cdf के बीच L2 दूरी का उपयोग करना कम स्थानीय होगा (क्या मैं खुले दरवाजे खोल रहा हूं?))। हालांकि, सबसे महत्वपूर्ण बात यह है कि cdf का उपयोग करता है। इसका तात्पर्य एक विषमता है: आप अपने वितरण की पूंछ में परिवर्तन को अधिक महत्व देते हैं।

2. Wassertein metric (आप कांतोरोविच रुबिनस्टीन का क्या मतलब है?) Http://en.wikipedia.org/wiki/Wasserstein_metric सर्वव्यापी है और इसलिए तुलना करना कठिन है।

   • W2 के विशेष मामले के लिए इसका उपयोग http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/101793892323 में किया गया है और यह C2 के व्युत्क्रम के L2 दूरी से संबंधित है। मेरी समझ यह है कि यह पूंछ को और भी अधिक वजन देता है लेकिन मुझे लगता है कि आपको इसके बारे में अधिक जानने के लिए कागज पढ़ना चाहिए।
   • घनत्व फ़ंक्शन के बीच L1 की दूरी के मामले के लिए, यह अत्यधिक इस बात पर निर्भर करेगा कि आप डेटा से अपने दंत चिकित्सा फ़ंक्शन का अनुमान कैसे लगाते हैं ... लेकिन अन्यथा यह "संतुलित परीक्षण" लगता है जो पूंछ को महत्व नहीं देता है।

---

उस टिप्पणी को याद रखने और बढ़ाने के लिए जो मैंने किया था, जो उत्तर को पूरा करती है:

मुझे पता है कि आपका मतलब थकावट भरा नहीं था लेकिन आप एंडरसन डार्लिंग स्टेटिस्टिक जोड़ सकते हैं (देखें http://en.wikipedia.org/wiki/Anderson%E2%80%93Darling_test )। इसने मुझे एक पेपर से याद दिलाया जोगर और वेलनर (देखें http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/114461721 ) जो एंडरसन डार्लिंग आँकड़ा बढ़ाता है (और विशेष रूप से शामिल हैं) Tukey की उच्च आलोचना)। उच्चतर आलोचना को पहले से ही विस्तृत विकल्पों के लिए न्यूनतम दिखाया गया था और उनके विलोपन के लिए जैगर और वेलनर ने भी यही किया है। मुझे नहीं लगता कि कोलमोगोरोव परीक्षण के लिए न्यूनतम संपत्ति दिखाई गई है। वैसे भी, आपके टेस्ट का विकल्प किस प्रकार का है, यह समझने के लिए आपको यह जानने में मदद मिलती है कि इसकी ताकत कहां है, इसलिए आपको ऊपर दिए गए पेपर को पढ़ना चाहिए।

Comments

हां, जिसे मैंने कांटोरोविच-रुबिनस्टीन दूरी कहा है, उसे एल ^ 1 वासेरस्टीन दूरी या डब्ल्यू 1 भी कहा जाता है। यह कई अन्य नामों से भी जाता है।

— मार्क मेकस

वासेरस्टीन की दूरियों से अपरिचित किसी के लिए भी स्पष्ट करने के लिए जो इसे पढ़ता है और गप्पे का जवाब देता है: L ^ 2 वासेरस्टीन की दूरी (W2) क्रैमर-वॉन मीज़ की दूरी के समान नहीं है।

— मार्क मेकस

Answer 4

$F$$F$

$F$$\hat{F}$

$$\sup_x | F_n(x) - \hat{F}(x)|.$$ $\hat{F}$$\hat{F} = F$

Answer 5

मैं आपको Kolmogorov-Smirnov परीक्षण का उपयोग करने के लिए अतिरिक्त कारण नहीं दे सकता। लेकिन, मैं आपको इसका उपयोग न करने का एक महत्वपूर्ण कारण दे सकता हूं। यह वितरण की पूंछ को अच्छी तरह से फिट नहीं करता है। इस संबंध में, एक बेहतर वितरण फिटिंग परीक्षण एंडरसन-डार्लिंग है। एक दूसरे सर्वश्रेष्ठ के रूप में, ची स्क्वायर परीक्षण बहुत अच्छा है। दोनों को इस संबंध में KS परीक्षण से बहुत बेहतर माना जाता है।

Answer 6

$L^p$

$L^0$

संक्षेप में पसंद 1 की एकसमान मानदंड दूरी बेहतर है, क्योंकि इसका तात्पर्य यह है कि परीक्षण समय की समस्या के समतुल्य है, जो स्वयं कम्प्यूटेशनल रूप से सुवाह्य संभावनाएँ पैदा करता है। जहां विकल्प 2 और 3 कार्यों के औसत दर्जे के सबसेट को परिभाषित नहीं कर सकते हैं।