क्या दो वितरणों के बीच हेलिंगर दूरी का एक निष्पक्ष अनुमानक है?

एक सेटिंग में जहां कोई देखता है को घनत्व साथ एक वितरण से वितरित किया , मुझे आश्चर्य है कि अगर घनत्व , अर्थात् लिए एक और वितरण के लिए Hellinger दूरी का एक निष्पक्ष अनुमानक ( आधार पर ) है। $X_1,\ldots,X_n$ $f$ $X_i$ $f_0$

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— शीआन
स्रोत

तो f0 ज्ञात और तय है। लेकिन एफ ज्ञात है या एक पैरामीट्रिक परिवार से है या आप अपने नमूने से आने वाले एफ के बारे में जानते हैं? मुझे लगता है कि किसी उत्तर का प्रयास करने पर इससे फर्क पड़ता है।

— माइकल आर। चेर्निक

@MichaelChernick: मान लें कि आप बारे में सभी जानते हैं नमूना ।

f

$f$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— शीआन

मुझे नहीं लगता कि इसकी गणना की गई है (यदि वहां मौजूद है)। यदि मौजूद है, तो एआईसी का एक खोया भाई है।

यदि आप मान लेते हैं कि इस समस्या पर हमला संभव है तो

f

$f$ और

f_{0}

$f_0$ असतत हैं। यह एक स्पष्ट अनुमानक की ओर जाता है (EDF और

बीच हेलिंगर की दूरी की गणना करें

f_{0}

$f_0$ )। बूटस्ट्रैपिंग (सैद्धांतिक रूप से, सिमुलेशन के माध्यम से नहीं!) हमें संभावित पूर्वाग्रह के साथ-साथ पूर्वाग्रह को कम करने (या समाप्त करने) का एक तरीका देगा। मैं खुद से दूरी के बजाय वर्ग दूरी के साथ सफल होने की कुछ आशा रखता हूं , क्योंकि यह गणितीय रूप से अधिक ट्रैक्टेबल है। असतत

की धारणा

f

$f$ अनुप्रयोगों में कोई समस्या नहीं है; असतत

की जगह

f

$f$ वैसे भी एक घनी सबसेट है।

— व्हीबर

यह रोज़ेनब्लाट के सबूत नहीं "सदाशयी" की निष्पक्ष आकलनकर्ता है कि वहाँ मन में आता है

। क्या हम उस पर काबू पा सकते हैं और

एक अनबिकेड अनुमानक प्राप्त कर सकते हैं ? मुझे नहीं पता।

f

$f$

H (f, f_{0})

$H(f,f_0)$

— ज़ेन

जवाबों:

या तो कोई निष्पक्ष आकलनकर्ता या के के लिए मौजूद है वितरण के किसी भी यथोचित व्यापक nonparametric वर्ग से। $\mathfrak{H}$ $\mathfrak{H}^2$ $f$

हम इसे खूबसूरती से सरल तर्क के साथ दिखा सकते हैं

बिकल और लेहमैन (1969)। उत्तल परिवारों में निष्पक्ष अनुमान । गणितीय सांख्यिकी, 40 (5) 1523-1535। ( प्रोजेक्ट यूक्लिड )

कुछ वितरण ठीक , , और , इसी घनत्व के साथ , , और । चलो निरूपित , और के कुछ आकलनकर्ता जा के आधार पर आईआईडी नमूने । $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

मान लीजिए कि फार्म के किसी भी वितरण से नमूने के लिए निष्पक्ष है लेकिन फिर $\hat H$

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

ताकि

एक में बहुपद होना चाहिए

की अधिकांश

पर डिग्री।

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X \sim F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X \sim G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$

Q (α)

$Q(\alpha)$

α

$\alpha$

n

$n$

अब, चलो एक उचित मामले के विशेषज्ञ हैं और बताते हैं कि संबंधित बहुपद नहीं है। $Q$

चलो कुछ वितरण जिस पर लगातार घनत्व है हो : सभी के लिए । (उस सीमा के बाहर इसका व्यवहार कोई फर्क नहीं पड़ता।) चलो कुछ वितरण केवल पर समर्थित है , और कुछ वितरण केवल पर समर्थित हैं । $F_0$ $[-1, 1]$ $f_0(x) = c$ $\lvert x \rvert \le 1$ $F$ $[-1, 0]$ $G$ $[0, 1]$

अब जहां

\begin{aligned} Q (α) & = H (m_{α}, f_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{m_{α} (x) f_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{c α f (x)} d x - \int_{0}^{1} \sqrt{c (1 - α) g (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$

और इसी तरह

। ध्यान दें कि

किसी भी वितरण

जिसका घनत्व है।

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$

B_{G}

$B_G$

B_{F} > 0

$B_F > 0$

B_{G} > 0

$B_G > 0$

F

$F$

G

$G$

किसी भी परिमित डिग्री का बहुपद नहीं है। इस प्रकार, कोई आकलनकर्ता के लिए निष्पक्ष हो सकता हैवितरण के सभी परपरिमित कई नमूने के साथ। $\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ $\hat H$ $\mathfrak{H}$ $M_\alpha$

इसी तरह, क्योंकि भी एक बहुपद नहीं है,लिए कोई अनुमानक नहीं हैजो कि सभी वितरणों पर निष्पक्षरूप से कई नमूने के साथ। $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ $\mathfrak{H}^2$ $M_\alpha$

यह वितरण के सभी उचित गैरपारंपरिक वर्गों को बहुत अधिक बाहर करता है, सिवाय नीचे घनीभूतता के साथ उन लोगों को छोड़कर (एक धारणा nonparametric विश्लेषण कभी-कभी बनाते हैं)। आप शायद उन वर्गों को भी इसी तरह के तर्क से मार सकते हैं, केवल घनत्व को स्थिर या कुछ और बनाकर।

— Dougal
स्रोत

I don't know how to construct (if it exists) an unbiased estimator of the Hellinger distance. It seems possible to construct a consistent estimator. We have some fixed known density $f_0$ , and a random sample $X_1,\dots,X_n$ from a density $f>0$ . We want to estimate

H (f, f_{0}) = \sqrt{1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{f_{0} (x)}{f (x)}} f (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

= \sqrt{1 - E [\sqrt{\frac{f_{0} (X)}{f (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$ where

X \sim f

$X\sim f$ . By the SLLN, we know that

\sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{f (X_{i})}}} \to H (f, f_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$ almost surely, as

n \to \infty

$n\to\infty$ . Hence, a resonable way to estimate

H (f, f_{0})

$H(f,f_0)$ would be to take some density estimator

\hat{f_{n}}

$\hat{f_n}$ (such as a traditional kernel density estimator) of

f

$f$ , and compute

\hat{H} = \sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{\hat{f_{n}} (X_{i})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— Zen
स्रोत

@Zen: Good point! I consider this answer as the answer because it made me realise

H

$H$ sounds very much like a standard deviation, for which there exists no unbiased estimator. As for the variance of

{\hat{H}}_{n}^{2}

$\hat H^2_n$ , no worries:

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$ implies that this estimator has a finite variance.

— Xi'an

Thanks for the clarification about the variance of the estimator, Xi'an!

— Zen

Some work on other consistent estimators: (a) arxiv.org/abs/1707.03083 and related work based on

k

$k$ -NN density estimators; (b) arxiv.org/abs/1402.2966 based on correcting kernel density estimates; (c) ieeexplore.ieee.org/document/5605355 based on a connection to classification. (Many of these are based on samples from both

f

$f$ and

f_{0}

$f_0$ , because that's the work I knew about offhand, but I think there are variants for known

f_{0}

$f_0$ .)

— Dougal