नेमन-पियरसन लेम्मा

Question

मैंने पुस्तक परिचय से लेकर मूड, ग्रेबिल और बोस द्वारा सांख्यिकी के सिद्धांत से नेमन-पियरसन लेम्मा पढ़ा है । लेकिन मैं लेम्मा को नहीं समझ पाया हूं।

क्या कोई मुझे सीधे शब्दों में लम्मा समझा सकता है? यह क्या राज्य करता है?

Neyman-पियर्सन लेम्मा: Let से नमूने के तौर पर हो , जहां दो ज्ञात में से एक मान है और , और तय किया ।$X_1,\ldots,X_n$$f(x;\theta)$$\theta$$\theta_0$$\theta_1$$0<\alpha<1$

आज्ञा दें कि एक सकारात्मक स्थिरांक और \ mathscr X का एक उपसमुच्चय है जो संतुष्ट करता है: \ tag 1 P _ {\ theta_0} [(X_1, \ ldots, X_n) \ _ C ^ * = = \ alp \ टैग में 2 \ lambda = \ frac {L (\ theta_0; x_1, \ ldots, x_n)} {L (\ theta_1; x_1, \ ldots, x_n)} = = \ frac (L_0) {L_1} \ _ k \ _ \ _ क्वाड !!! \ text {अगर} (x_1, \ ldots, x_n) \ _ C ^ * \ text {और} \ quad \ lambda \ ge \ quad k ^ ^ * \ text {if} (x_1, \ ldots, xn) में \ _ बार सी ^ * फिर परीक्षण \ गामा ^ * महत्वपूर्ण क्षेत्र के लिए इसी सी ^ * आकार के एक सबसे शक्तिशाली परीक्षण है \ अल्फा की \ थीटा = \ theta_0: \ mathscr H_0 बनाम \ mathscr H_1: \ थीटा = \ theta_1$k^*$$C^*$$\mathscr X$

$$\tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha$$ $$\tag 2 \lambda=\frac{L(\theta_0;x_1,\ldots,x_n)}{L(\theta_1;x_1,\ldots,x_n)} = \frac{L_0}{L_1} \le k^*\quad \text{if } (x_1,\ldots,x_n)\in C^*$$ $$\text{and}\quad \lambda\ge\quad k^* \text{ if } (x_1,\ldots,x_n)\in \bar C^*$$ $\gamma^*$$C^*$$\alpha$$\mathscr H_0:\theta=\theta_0$$\mathscr H_1:\theta=\theta_1$

शब्दों में व्यक्त, मैंने समझा है कि दो मानदंड निर्दिष्ट हैं

(१) पी [अशक्त परिकल्पना को खारिज करना | अशक्त परिकल्पना सत्य है] = महत्व स्तर

(2) शून्य परिकल्पना को अस्वीकार जब संभावना अनुपात , $\lambda\le$ कुछ सकारात्मक निरंतर $k^*$ अगर $(x_1,\ldots,x_n)$ महत्वपूर्ण क्षेत्र में गिरावट

फिर परीक्षण एक साधारण परिकल्पना का सबसे शक्तिशाली परीक्षण है ।

• यह केवल साधारण परिकल्पनाओं के लिए ही क्यों है? क्या यह समग्र परिकल्पना के लिए नहीं हो सकता है? क्या शब्दों में मेरी व्याख्या सही है?

Answer 1

मुझे लगता है कि आप लेम्मा को अच्छी तरह से समझ गए हैं।

यह एक समग्र विकल्प के लिए काम क्यों नहीं करता है? जैसा कि आप संभावना अनुपात में देख सकते हैं, हमें वैकल्पिक परिकल्पना के लिए पैरामीटर (एस) में प्लग करने की आवश्यकता है। यदि विकल्प समग्र है, तो आप किस पैरामीटर में प्लग करने जा रहे हैं?

Comments

यदि संभावना संभावना मोनोटोन है तो आप इसे समग्र विकल्पों के लिए काम कर सकते हैं।

— माइकल आर। चेरिक

Answer 2

मैंने हाल ही में एक लिंक्डइन ब्लॉग में एंट्री की, जिसमें नेमन पियर्सन के लामा को सीधे शब्दों में कहा और एक उदाहरण दिया। मुझे लेम्मा पर स्पष्ट अंतर्ज्ञान प्रदान करने के अर्थ में उदाहरण आंख खोलते हुए मिला। प्रायः प्रायिकता में, यह असतत प्रायिकता के बड़े फलन पर आधारित होता है, इसलिए पीडीएफ के साथ काम करने की तुलना में इसे शुरू करना आसान होता है। इसके अलावा, मैं आपके लिम्मा स्टेटमेंट के विपरीत वैकल्पिक परिकल्पना बनाम शून्य परिकल्पना की संभावना के रूप में संभावना अनुपात को ध्यान में रखता हूं। स्पष्टीकरण एक ही है, लेकिन कम से कम अब की तुलना में अधिक है। मुझे उम्मीद है यह मदद करेगा...

आप में से जो डेटा एनालिसिस में काम करते हैं और कुछ स्टैटिस्टिक्स कोर्सेज से होते हैं, उन्हें नेमन-पीयरसन लेम्मा (एनपी-लेम्मा) पता चल सकता है। संदेश सरल है, प्रदर्शन इतना अधिक नहीं है लेकिन जो मुझे हमेशा मुश्किल लगता था वह यह था कि इसके बारे में एक सामान्य ज्ञान भावना प्राप्त करना है। PIGood और JWHardin द्वारा "कॉमन एरर्स इन स्टैटिस्टिक्स" नाम की एक पुस्तक को पढ़कर मुझे एक स्पष्टीकरण और उदाहरण मिला, जिसने मुझे एनपी-लेम्मा के बारे में यह अनुभव प्राप्त करने में मदद की कि मैं हमेशा चूक गया था।

100% गणितीय रूप से परिपूर्ण भाषा में, नेमन-पीयरसन ने हमें जो बताया है वह यह है कि एक सबसे महत्वपूर्ण परीक्षण एक निश्चित महत्व के स्तर के भीतर किसी दिए गए परिकल्पना को मान्य करने के लिए आ सकता है, इस परीक्षण से आने वाले सभी संभावित अवलोकन द्वारा किए गए अस्वीकृति क्षेत्र द्वारा दिया गया है। एक निश्चित सीमा से अधिक संभावना अनुपात ... woahhh! किसने कहा यह आसान था!

शांत रहें और लेम्मा का पुनर्निर्माण करें:

1. परिकल्पना । आंकड़ों में एक हमेशा दो परिकल्पनाओं के साथ काम करता है कि एक सांख्यिकीय परीक्षण को अस्वीकार करना चाहिए या अस्वीकार नहीं करना चाहिए। अशक्त परिकल्पना है, जिसे तब तक अस्वीकार नहीं किया जाएगा जब तक कि इसके खिलाफ नमूना सबूत पर्याप्त मजबूत न हों। वैकल्पिक परिकल्पना भी है, एक हम ले लेंगे यदि नल झूठा लगता है।
2. एक परीक्षण की शक्ति (उर्फ संवेदनशीलता) हमें बताती है कि जब हम गलत होते हैं, तो हम किस अनुपात में शून्य परिकल्पना को सही ढंग से अस्वीकार करेंगे। हम शक्तिशाली परीक्षण चाहते हैं, इसलिए अधिकांश समय हम अशक्त परिकल्पना को अस्वीकार करते हैं कि हम सही हैं!
3. एक परीक्षण का महत्वपूर्ण स्तर (उर्फ झूठी सकारात्मक दर) हमें बताता है कि जब हम सही होते हैं, तो हम किस अनुपात में गलत धारणा को अस्वीकार करेंगे। हम एक छोटे से महत्व का स्तर चाहते हैं इसलिए अधिकांश बार हम गलत परिकल्पना को अस्वीकार करते हैं जो हम गलत नहीं हैं!
4. अस्वीकृति क्षेत्र , परीक्षण के सभी संभावित परिणामों को देखते हुए, अस्वीकृति क्षेत्र में वे परिणाम शामिल हैं जो हमें वैकल्पिक विकल्प के लाभ में अशक्त परिकल्पना को अस्वीकार कर देंगे।
5. संभावना की संभावना यह है कि परीक्षण के देखे गए परिणाम को देखने की संभावना है, क्योंकि अशक्त परिकल्पना (शून्य परिकल्पना की संभावना) या विकल्प एक (वैकल्पिक परिकल्पना की संभावना) सत्य थे।
6. संभावना अनुपात , शून्य परिकल्पना संभावना द्वारा विभाजित वैकल्पिक परिकल्पना संभावना का अनुपात है। यदि परीक्षण परिणाम बहुत अपेक्षित था यदि शून्य परिकल्पना वैकल्पिक बनाम बनाम सही थी, तो संभावना अनुपात छोटा होना चाहिए।

पर्याप्त परिभाषाएँ! (यद्यपि यदि आप उन्हें ध्यान से देखेंगे, तो आप महसूस करेंगे कि वे बहुत ही व्यावहारिक हैं!)। आइए जाने कि नेमन और पियर्सन हमें क्या बताते हैं: यदि आप इसकी शक्ति के दृष्टिकोण से सर्वोत्तम संभव सांख्यिकीय परीक्षण करना चाहते हैं, तो केवल उन परीक्षण परिणामों को शामिल करके अस्वीकृति क्षेत्र को परिभाषित करें जिनमें सबसे अधिक संभावना अनुपात है, और अपना परीक्षण जोड़ते रहें परिणाम जब तक आप अपने परीक्षण के लिए एक निश्चित मूल्य तक नहीं पहुंच जाते हैं, जब तक कि यह सच (महत्व स्तर) नहीं है।

आइए एक उदाहरण देखें जहां उम्मीद है कि सब कुछ एक साथ आएगा। उदाहरण ऊपर उल्लिखित पुस्तक पर आधारित है। यह पूरी तरह से अपने आप से बना है इसलिए इसे किसी वास्तविकता या व्यक्तिगत राय को प्रतिबिंबित करने के रूप में नहीं देखा जाना चाहिए।

कल्पना कीजिए कि कोई यह निर्धारित करना चाहता है कि कोई व्यक्ति आप्रवासन कोटा (शून्य परिकल्पना) स्थापित करने के पक्ष में है या नहीं (वैकल्पिक परिकल्पना) यूरोपीय संघ बनाम उसकी भावनाओं को पूछकर।

कल्पना कीजिए कि हम अपने प्रश्न के उत्तर के बारे में दोनों प्रकार के लोगों के लिए वास्तविक संभाव्यता वितरण जानते थे:

आइए कल्पना करें कि हम 30% की एक झूठी सकारात्मक त्रुटि को स्वीकार करने के लिए तैयार हैं, अर्थात, 30% समय हम अशक्त परिकल्पना को अस्वीकार कर देंगे और मान लिया जाएगा कि साक्षात्कार करने वाला व्यक्ति कोटा के खिलाफ है जब वह / वह वास्तव में उनके लिए है। हम परीक्षण का निर्माण कैसे करेंगे?

नेमन और पीयरसन के अनुसार, हम सबसे पहले परिणाम की संभावना को सबसे अधिक अनुपात में लेंगे। यह 3. के अनुपात के साथ "वास्तव में ईयू की तरह" का उत्तर है। इस परिणाम के साथ, अगर हम किसी को कोटा के खिलाफ मानते हैं, तो उसने कहा कि वह "वास्तव में ईयू को पसंद करता है", जिस समय हम असाइन करेंगे। कोटा के लोगों के खिलाफ (महत्व) के रूप में। हालाँकि, हम केवल कोटा के लोगों का 30% समय (शक्ति) के खिलाफ सही तरीके से वर्गीकरण करेंगे क्योंकि इस समूह में हर कोई यूरोपीय संघ के बारे में समान राय नहीं रखता है।

जहां तक ​​सत्ता का सवाल है, तो यह एक खराब परिणाम है। हालाँकि, परीक्षण कोटा लोगों (महत्व) के लिए मिसकॉलिफ़ाइजिंग में कई गलतियाँ नहीं करता है। जैसा कि हम महत्व के बारे में अधिक लचीले हैं, आइए अगले परीक्षा परिणाम के लिए देखें कि हमें उत्तर की परिकल्पना को जोड़ना चाहिए जो अशक्त परिकल्पना (अस्वीकृति क्षेत्र) को अस्वीकार करता है।

उच्चतम संभावना अनुपात के साथ अगला उत्तर "ईयू की तरह" है। अगर हम यूरोपीय संघ के परीक्षण परिणामों के रूप में "वास्तव में पसंद है" और "जैसे" का उपयोग करते हैं जो हमें कोटा के लिए किसी की अशक्त परिकल्पना को अस्वीकार करने की अनुमति देते हैं, तो हम कोटा के लोगों के लिए 30% नहीं (10%) के रूप में गर्भपात करेंगे। "वास्तव में पसंद है" और "जैसे" से 20%) और हम कोटा के लोगों के खिलाफ सही ढंग से 65% समय (30% "वास्तव में पसंद" और 35% "जैसे") से वर्गीकृत करेंगे। सांख्यिकीय शब्दजाल में: हमारा महत्व 10% से 30% (खराब!) तक बढ़ गया, जबकि हमारे परीक्षण की शक्ति 30% से बढ़कर 65% (अच्छा!) हो गई।

यह एक ऐसी स्थिति है जिसमें सभी सांख्यिकीय परीक्षण होते हैं। आंकड़ों में भी मुफ्त लंच जैसा कुछ नहीं है! यदि आप अपने परीक्षण की शक्ति को बढ़ाना चाहते हैं तो आप इसे महत्व के स्तर को बढ़ाने की कीमत पर करते हैं। या सरल शब्दों में: आप अच्छे लोगों को बेहतर रूप से वर्गीकृत करना चाहते हैं, आप अच्छे लोगों की तुलना में अच्छे बुरे लोगों की कीमत पर करेंगे!

असल में, अब हम कर रहे हैं! हमने सबसे शक्तिशाली परीक्षण बनाया जो हम दिए गए डेटा और "वास्तव में पसंद है" और "जैसे" लेबल का उपयोग करके 30% का एक महत्वपूर्ण स्तर निर्धारित कर सकते हैं कि क्या कोई कोटा के खिलाफ है ... क्या हम सुनिश्चित हैं?

"वास्तव में जैसे" उत्तर चुने जाने के बाद यदि हमने दूसरे चरण में शामिल किया होता, तो उत्तर "उदासीन" के बजाय "उदासीन" होता? परीक्षण का महत्व 30% पर पहले की तुलना में समान रहा होगा: कोटा के लोगों के लिए 10% "वास्तव में" पसंद करते हैं और कोटा के लोगों के लिए 20% "नापसंद" का जवाब देते हैं। दोनों परीक्षण कोटा के व्यक्तियों के लिए गर्भपात के रूप में खराब होंगे। हालाँकि, बिजली खराब हो जाएगी! नए परीक्षण के साथ हमारे पास पहले के 65% के बजाय 50% की शक्ति होगी: "वास्तव में पसंद" से 30% और "उदासीन" से 20%। नए परीक्षण के साथ हम कोटा व्यक्तियों के खिलाफ पहचान करने में कम सटीक होंगे!

यहां किसने मदद की? नेमन-व्यक्ति की संभावना अनुपात उल्लेखनीय विचार! हर बार उच्चतम संभावना अनुपात के साथ उत्तर देने से यह सुनिश्चित होता है कि हम नए परीक्षण में अधिक से अधिक शक्ति (बड़े अंश) को शामिल कर सकते हैं, जबकि महत्व को नियंत्रण में रखना (छोटे भाजक)!

Comments

वाह, बस उस तालिका में सब कुछ देखकर एक टन की मदद की, और इसके कुछ हिस्सों का उल्लेख करते हुए एक टन की मदद की। धन्यवाद!

— यतीर्थ अग्रवाल

Answer 3

प्रसंग

(इस खंड में मैं केवल परिकल्पना परीक्षण की व्याख्या करने जा रहा हूं, एक और दो त्रुटियां, आदि, अपनी शैली में। यदि आप इस सामग्री के साथ सहज हैं, तो अगले अनुभाग पर जाएं)

नेमन-पियर्सन लेम्मा सरल परिकल्पना परीक्षण की समस्या में आता है । हमारे पास एक सामान्य स्थान पर दो अलग-अलग संभावनाएं हैं $\Omega$ : $P_0$ और $P_1$ , जिसे नल और वैकल्पिक परिकल्पना कहा जाता है। एक भी अवलोकन के आधार पर $\omega\in\Omega$ , हम एक अनुमान दो संभाव्यता वितरण की जिसके लिए प्रभाव में है के साथ आने के लिए है। एक परीक्षण इसलिए एक फ़ंक्शन है जो प्रत्येक $\omega$ को "शून्य परिकल्पना" या "वैकल्पिक परिकल्पना" का अनुमान प्रदान करता है। एक परीक्षण को स्पष्ट रूप से उस क्षेत्र से पहचाना जा सकता है, जिस पर वह "वैकल्पिक" लौटाता है, इसलिए हम सिर्फ संभावना वाले स्थान के सबसेट (घटनाओं) की तलाश कर रहे हैं।

आमतौर पर अनुप्रयोगों में, शून्य परिकल्पना किसी तरह की यथास्थिति से मेल खाती है, जबकि वैकल्पिक परिकल्पना कुछ नई घटना है, जिसे आप साबित करने की कोशिश कर रहे हैं या उसे अस्वीकृत करना वास्तविक है। उदाहरण के लिए, आप मानसिक शक्तियों के लिए किसी का परीक्षण कर सकते हैं। आप स्क्वीगली लाइनों या क्या नहीं के साथ कार्ड के साथ मानक परीक्षण चलाते हैं, और निश्चित समय के लिए अनुमान लगाने के लिए उन्हें प्राप्त करते हैं। अशक्त परिकल्पना यह है कि उन्हें पांच में से एक से अधिक नहीं मिलेगा (क्योंकि पांच कार्ड हैं), वैकल्पिक परिकल्पना यह है कि वे मानसिक हैं और अधिक अधिकार प्राप्त कर सकते हैं।

हम जो करना चाहते हैं, वह गलती करने की संभावना को कम करता है। दुर्भाग्य से, यह एक व्यर्थ धारणा है। ऐसे दो तरीके हैं जिनसे आप गलती कर सकते हैं। या तो शून्य परिकल्पना सच है, और आप अपने परीक्षण के "वैकल्पिक" क्षेत्र में एक $\omega$ नमूना लेते हैं , या वैकल्पिक परिकल्पना सच है, और आप "अशक्त" क्षेत्र का नमूना लेते हैं। अब, आप एक क्षेत्र को ठीक करता है, तो $A$ संभावना अंतरिक्ष (एक परीक्षण) की है, तो संख्या $P_0(A)$ और $P_1(A^{c})$, उन दो प्रकार की त्रुटियों को बनाने की संभावनाएं पूरी तरह से परिभाषित हैं, लेकिन चूंकि आपके पास "संभावना है कि अशक्त / वैकल्पिक परिकल्पना सच है" की कोई पूर्व धारणा नहीं है, तो आप किसी भी तरह की सार्थक "संभावना नहीं प्राप्त कर सकते हैं" गलती "। इसलिए यह गणित की एक विशिष्ट स्थिति है जहाँ हम वस्तुओं के कुछ वर्ग का "सर्वश्रेष्ठ" चाहते हैं, लेकिन जब आप निकट से देखते हैं, तो कोई "सर्वश्रेष्ठ" नहीं होता है। वास्तव में, हम क्या करने की कोशिश कर रहे कम से कम है $P_0(A)$ , जबकि अधिकतम $P_1(A)$ , जो स्पष्ट रूप लक्ष्यों का विरोध कर रहे हैं।

मानसिक क्षमताओं के परीक्षण के उदाहरण को ध्यान में रखते हुए, मैं उस प्रकार के गलती का उल्लेख करना पसंद करता हूं जिसमें अशक्त सही है लेकिन आप विकल्प को " भ्रम " के रूप में सही मानते हैं (आप मानते हैं कि आदमी का मानसिक लेकिन वह नहीं है), और " गुमनामी " के रूप में दूसरी तरह की गलती ।

द लेम्मा

नेमन-पीयरसन लेम्मा का दृष्टिकोण निम्नलिखित है: चलो भ्रम $\alpha$ की कुछ अधिकतम संभावनाएं चुनें जिसे हम सहन करने के लिए तैयार हैं, और फिर उस परीक्षण को ढूंढें जिसमें ऊपरी सीमा को संतुष्ट करते हुए विस्मृति की न्यूनतम संभावना है। परिणाम यह है कि इस तरह के परीक्षणों में हमेशा एक संभावना-अनुपात परीक्षण का रूप होता है:

प्रस्ताव (नेमन-पियर्सन लेम्मा)

$L_0, L_1$$\alpha > 0$$A\subseteq \Omega$$P_1(A)$$P_0(A)\leq \alpha$

$$A=\{\omega\in \Omega \mid \frac{L_1(\omega)}{L_0(\omega)} \geq K \}$$

$K>0$ $K$$P_1(A)\geq P_1(B)$$B$$P_0(B)\leq P_0(A)$

$K$$P_0(A)=\alpha$

$P_1$$P_0$

$P_0$$P_1$$\mathbb R^n$$P_0(A)$$P_0$$P_1$$P_0$$P_1$$P_0$

जमीन खरीदना

लेम्मा का हृदय इस प्रकार है:

$\mu$$\Omega$$f$$\Omega$$\alpha > 0$$A$$\mu(A)\leq\alpha$$\int_A fd\mu$

$$\{\omega\in\Omega\mid f(\omega)\geq K\}$$ $K>0$$\int f$$B$

$\alpha$$f$$\int f$$\alpha$$\mu$$P_0$$f$$P_1$$P_0$$L_1/L_0$

$A$$B$$B'$$A$$B'$$B$$A$$B$$B'$$x\in A$$f(y)>f(x)$$y$$A$$x$$y$$A$$f^{-1}([K, +\infty))$$K$