फिट परीक्षण के ची-स्क्वायर अच्छाई पर डेटा-आधारित बिन सीमाओं का प्रभाव?

Question

इस तरह की परिस्थितियों में ची-स्क्वायर की कम शक्ति के स्पष्ट मुद्दे को छोड़कर, डेटा को दूर करके अनिर्दिष्ट मापदंडों के साथ कुछ घनत्व के लिए परीक्षण के ची-स्क्वायर अच्छाई करने की कल्पना करें।

संक्षिप्तता के लिए, मान लें कि अज्ञात माध्य के साथ एक घातांक वितरण और कहते हैं कि 100 का एक नमूना आकार।

बिन में अपेक्षित टिप्पणियों की एक उचित संख्या प्राप्त करने के लिए कुछ खाते में डेटा लेने की आवश्यकता होगी (जैसे अगर हमने माध्य से 6 डिब्बे नीचे और 4 इसके ऊपर चुना है, जो अभी भी डेटा-आधारित बिन सीमाओं का उपयोग करेगा) ।

लेकिन डेटा को देखने के आधार पर डिब्बे का यह उपयोग संभवतः शून्य के तहत परीक्षण सांख्यिकीय के वितरण को प्रभावित करेगा।

मैंने इस तथ्य के बारे में बहुत चर्चा की है कि - यदि मापदंडों को बॉनड डेटा से अधिकतम संभावना द्वारा अनुमानित किया जाता है - तो आप अनुमानित पैरामीटर प्रति 1 df खो देते हैं (फिशर बनाम कार्ल पियर्सन के लिए वापस डेटिंग एक मुद्दा) - लेकिन मुझे याद नहीं है डेटा के आधार पर बिन सीमाओं को खोजने के बारे में कुछ भी पढ़ना। (यदि आप उन्हें अनवांटेड डेटा से अनुमान लगाते हैं, तो साथ $k$परीक्षण आँकड़ा का वितरण $\chi^2_{k}$ और बीच कहीं होता है $\chi^2_{k-p}$।)

क्या यह डेटा-आधारित विकल्प बिनता के महत्व स्तर या शक्ति को प्रभावित करता है? क्या कुछ दृष्टिकोण हैं जो दूसरों की तुलना में अधिक मायने रखते हैं? यदि कोई प्रभाव पड़ता है, तो क्या यह कुछ ऐसा है जो बड़े नमूनों में चला जाता है?

यदि इसका एक प्रभावशाली प्रभाव पड़ता है, तो यह ची-स्क्वेर्ड परीक्षण का उपयोग करने के लिए प्रतीत होता है जब पैरामीटर कई मामलों में लगभग बेकार हैं (अभी भी काफी कुछ ग्रंथों में वकालत किए जाने के बावजूद), जब तक कि आपके पास एक अच्छा नहीं था -प्रियोरी पैरामीटर का अनुमान।

मुद्दों या संदर्भों की चर्चा (अधिमानतः उनके निष्कर्ष के उल्लेख के साथ) उपयोगी होगी।

---

संपादित करें, मुख्य प्रश्न के लिए एक तरफ बहुत अधिक:

यह मेरे साथ होता है कि घातीय * के विशिष्ट मामले के लिए संभावित समाधान हैं (और वर्दी इसके बारे में सोचते हैं), लेकिन मैं अभी भी बिन सीमाओं को चुनने वाले प्रभाव के अधिक सामान्य मुद्दे में दिलचस्पी रखता हूं।

* उदाहरण के लिए, घातीय के लिए, एक छोटी से छोटी अवलोकन का उपयोग कर सकते हैं (कहते हैं कि यह के बराबर है $m$ ) जहां डिब्बे जगह (के बाद से सबसे छोटी अवलोकन मतलब के साथ घातीय है की एक बहुत ही किसी न किसी विचार प्राप्त करने $\mu/n$ ), और फिर घातांक के लिए शेष $n-1$ अंतर ( $x_i - m$ ) का परीक्षण करें। बेशक, μ का बहुत खराब अनुमान हो सकता है$\mu$, और इसलिए खराब बिन विकल्प, हालांकि मुझे लगता है कि एक व्यक्ति दो या तीन टिप्पणियों को लेने के लिए पुनरावर्ती तर्क का उपयोग कर सकता है जिसमें से उचित डिब्बे चुनने के लिए और फिर उन सबसे छोटे क्रम के आंकड़ों के सबसे ऊपर के शेष टिप्पणियों के अंतर का परीक्षण करने के लिए exponentiality)

Comments

दिलचस्प सवाल। मुझे इसका उत्तर नहीं पता है, लेकिन यह विचार कि स्वतंत्रता की कुछ डिग्री खो दी जानी चाहिए, समझ में आता है। यदि आपने इसे पहले ही नहीं देखा था, तो @whuber के इस उत्तर को सोचा-समझा जाना चाहिए: कैसे-कैसे-समझ-से-स्वतंत्रता । यह मुझे लगता है कि कुछ सिमुलेशन अध्ययनों से आपको कम से कम कुछ विशिष्ट मामलों के लिए यहां एक पैर के अंगूठे को प्राप्त करने में सक्षम होना चाहिए।

— गूँग - मोनिका

यह सुनिश्चित नहीं है कि यह कितना उपयोगी है, लेकिन मजबूत आकलन के क्षेत्र में भी इसी तरह की समस्या है। विशेष रूप से, मजबूत अनुमान की एक विधि (जैसे छंटनी का मतलब) के लिए अक्सर एक मानकीकृत इनपुट की आवश्यकता होती है (जैसे कि कितना ट्रिम को परिभाषित करने वाला पैरामीटर)। इस पैरामीटर को डेटा-चालित विधि द्वारा चुना जा सकता है (उदाहरण के लिए ट्रिमिंग पैरामीटर चुनने से पहले पूंछ कितनी मोटी है) देखें। लेकिन ट्रिमिंग पैरामीटर का पूर्व-चयन ट्रिम किए गए माध्य के वितरण को प्रभावित करता है, बनाम, कहते हैं, एक निश्चित पैरामीटर नियम। उस साहित्य से जिस तरह से निपटा जाता है वह बूटस्ट्रैप के माध्यम से होता है।

— कॉलिन टी बोवर्स

@ColinTBowers - संभवतः कुछ हद तक मददगार, धन्यवाद। बूटस्ट्रैपिंग की संभावना के बारे में नहीं सोचा था।

— Glen_b -Reinstate मोनिका

दिलचस्प हो सकता है कि समस्या को सरलतम मामले में तोड़ दिया जाए। अपने पसंदीदा वितरण से सिर्फ 5 अवलोकनों की तरह कुछ कल्पना करें, और केवल दो डिब्बे बनाने के लिए डेटा में एक सिंगल डिवाइडर लगाएं।

— zkurtz

Answer 1

ची-स्क्वायर अच्छाई-के-फिट परीक्षण के बुनियादी परिणामों को श्रेणीबद्ध रूप से समझा जा सकता है ।

स्तर 0 । शास्त्रीय पियर्सन के ची-स्क्वायर परीक्षण के लिए एक निश्चित संभावना सदिश खिलाफ एक बहुपद नमूना परीक्षण के लिए सांख्यिकीय है एक्स 2 ( पी ) = के ∑ मैं = 1 ( एक्स ( एन ) मैं - एन पी मैं $p$ जहां एक्स ( एन ) मैं परिणामों की संख्या में अर्थ है मैं वें सेल के आकार का एक नमूना से बाहर एन । इसे फलस्वरूप वेक्टर Y n = ( Y ( n ) 1 , … , Y ( n ) k ) के वाई के रूप में देखा जा सकता है , जहां Y ( n ) i = ( X ( n ) i - n p i )

$$X^2(p) = \sum_{i=1}^k \frac{(X^{(n)}_i - n p_i)^2}{n p_i} \stackrel{d}{\to} \chi_{k-1}^2 \>,$$ $X_i^{(n)}$$i$$n$$\mathbf Y_n = (Y_1^{(n)},\ldots,Y_k^{(n)})$ जो, के रूप में वितरण में मल्टीवेरिएट केंद्रीय सीमा प्रमेय और converges द्वारा वाई एन डी → एन(0,मैं-$Y_i^{(n)} = (X_i^{(n)} - n p_i)/\sqrt{n p_i}$ इस से हम देखते हैं कि एक्स 2 = ‖ वाई एन ‖ 2 → χ 2 कश्मीर - 1 के बाद से मैं - $$\mathbf Y_n \stackrel{d}{\to} \mathcal N(0, \mathbf I - \sqrt{p}\sqrt{p}^T) \>.$$ $X^2 = \|\mathbf Y_n\|^2 \to \chi^2_{k-1}$, रैंकk-1 का समान है।$\mathbf I - \sqrt{p}\sqrt{p}^T$$k-1$

$p$$m$$p_i$

$$X^2_1 = \sum_{i=1}^k \frac{(X^{(n)}_i - n \hat{p}_i)^2}{n \hat{p}_i} \stackrel{d}{\to} \chi_{k-m - 1}^2 \>,$$ शून्य परिकल्पना के तहत।

$\lambda$$k$ कोशिकाओं, फिर उपरोक्त परिणाम अभी भी प्रदान किया गया है कि हम बिन संभावनाओं के कुशल अनुमानों (जैसे, MLEs) का उपयोग करते हैं, केवल केवल मनाया आवृत्तियों का उपयोग करते हैं ।

$m$$m = 1$

$$X^2_2 = \sum_{i=1}^k \frac{(X^{(n)}_i - n \hat{p}_i)^2}{n \hat{p}_i} \stackrel{d}{\to} \chi_{k-m - 1}^2 \>,$$ $\hat{p}_i$

$Z_1,\ldots,Z_n \sim F_\lambda$$\lambda$$\chi_{k-m-1}^2$$\chi_{k-1}^2$ यादृच्छिक चर, मानकों के आधार पर वितरण के साथ।

वास्तव में, इसका अर्थ है कि वितरण का सीमित होना $\mathbf Y_n$ है $\mathcal N(0, \mathbf I - \sqrt{p_\lambda}\sqrt{p_\lambda}^T - \mathbf A(\lambda))$।

हमने अभी तक यादृच्छिक सेल सीमाओं के बारे में बात नहीं की है, और हम पहले से ही एक तंग स्थान पर हैं! दो तरीके हैं: एक को वापस लेवल 2 में वापस जाना है, या बहुत कम से कम अंतर्निहित मापदंडों के कुशल अनुमानक (जैसे MLEs) का उपयोग नहीं करना है।$\lambda$। दूसरा तरीका इन प्रभावों को पूर्ववत करने का प्रयास करना है$\mathbf A(\lambda)$ इस तरह से एक ची-वर्ग वितरण ठीक करने के लिए।

There are several ways of going the latter route. They basically amount to premultiplying $\mathbf Y_n$ by the "right" matrix $\mathbf B(\hat{\lambda})$. Then, the quadratic form

$$\mathbf Y_n^T \mathbf B^T \mathbf B \mathbf Y_n \stackrel{d}{\to} \chi_{k-1}^2 \>,$$ where $k$ is the number of cells.

Examples are the Rao–Robson–Nikulin statistic and the Dzhaparidze–Nikulin statistic.

Level 4. Random cells. In the case of random cells, under certain regularity conditions, we end up in the same situation as in Level 3 if we take the route of modifying the Pearson chi-square statistic. Location-scale families, in particular, behave very nicely. One common approach is to take our $k$ cells each to have probability $1/k$, nominally. So, our random cells are intervals of the form $\hat{I}_j = \hat \mu + \hat\sigma I_{0,j}$ where $I_{0,j} = [F^{-1}((j-1)/k), F^{-1}(j/k))$. This result has been further extended to the case where the number of random cells grows with the sample size.

References

1. A W. van der Vaart (1998), Asymptotic Statistics, Cambridge University Press. Chapter 17: Chi-Square Tests.

2. H. Chernoff and E. L. Lehmann (1954), The use of maximum likelihood estimates in $\chi^2$ tests for goodness of fit, Ann. Math. Statist., vol. 25, no. 3, 579–586.

3. F. C. Drost (1989), Generalized chi-square goodness-of-fit tests for location-scale models when the number of classes tends to infinity, Ann. Stat, vol. 17, no. 3, 1285–1300.

4. M. S. Nikulin, M.S. (1973), Chi-square test for continuous distribution with shift and scale parameters, Theory of Probability and its Application, vol. 19, no. 3, 559–568.

5. K. O. Dzaparidze and M. S. Nikulin (1973), On a modification of the standard statistics of Pearson, Theory of Probability and its Application, vol. 19, no. 4, 851–853.

6. K. C. Rao and D. S. Robson (1974), A chi-square statistic for goodness of fit tests within exponential family, Comm. Statist., vol 3., no. 12, 1139–1153.

7. N. Balakrishnan, V. Voinov and M. S. Nikulin (2013), Chi-Squared Goodness of Fit Tests With Applications, Academic Press.

Answer 2

I've found at least partial answers to my question, below. (I'd still like to give someone that bonus, so any further information appreciated.)

Moore (1971) said that Roy (1956) and Watson (1957,58,59) showed that when the cell boundaries for a chi-square statistic are functions of best asymptotic normal estimated parameter values, then under certain conditions, the asymptotic null distribution of the chi-square statistic is still that of a sum of a $\chi^2_{k-p-1}$ and a weighted sum of $p$ $\chi^2_1$ variables (for $k$ cells, $p$ parameters) where the weights are between 0 and 1 (making the cdf of the distribution between that of a $\chi^2_{k-p}$ and a $\chi^2_{k}$, as alluded to in my question for the distribution when using ML estimation), and the weights on those last $p$ terms are unaffected by that estimation.

References

Moore D.S. (1971), A Chi-Square Statistic with Random Cell Boundaries, Ann. Math. Stat., Vol 42, No 1, 147–156.

Roy A.R. (1956), On $\chi^2$ statistics with variable intervals, Technical Report No. 1, Dept of Statistics, Stanford University.

Watson, G.S. (1957), The $\chi^2$ goodness-of-fit test for normal distributions, Biometrika, 44, 336–348.

Watson, G.S. (1958), On $\chi^2$ goodness-of-fit tests for continuous distributions, J. Royal Statist. Soc. B, 20, 44–61.

Watson, G.S. (1959), Some recent results in $\chi^2$ goodness-of- fit tests, Biometrics, 15, 440-468