नमूनाकरण लागत बनाम

मुझे निम्नलिखित सिमुलेशन समस्या आई: ज्ञात वास्तविक संख्याओं का एक सेट , पर एक वितरण द्वारा परिभाषित किया गया है जहां का सकारात्मक भाग को दर्शाता है । मैं इस वितरण लक्ष्यीकरण एक महानगरों-हेस्टिंग्स नमूना के बारे में सोच सकता है, मुझे आश्चर्य है कि अगर वहाँ एक कुशल प्रत्यक्ष नमूना मौजूद है, शून्य संभावनाओं की बड़ी संख्या का लाभ लेने से एल्गोरिथ्म के आदेश को कम करने के के लिए । $\{\omega_1,\ldots,\omega_d\}$ $\{-1,1\}^d$

P (X = (x_{1}, \dots, x_{d})) \propto (x_{1} ω_{1} + \dots + x_{d} ω_{d})_{+}

$\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+$

(z)_{+}

$(z)_+$

z

$z$

O (2^{d})

$O(2^d)$

O (d)

$O(d)$

— शीआन
स्रोत

यहाँ एक काफी स्पष्ट पुनरावर्ती नमूना है जो सबसे अच्छा मामले में (वज़न संदर्भ में ) है, लेकिन सबसे खराब स्थिति में घातांक है। $O(d)$ $\omega_i$

मान लीजिए कि हमने पहले ही का चयन कर लिया है, और चुनना चाहते हैं । हमें और संभाव्यता साथ चुनें भाजक नमूने के किसी भी वैध विकल्प के लिए । $x_1, \dots, x_{i-1}$ $x_{i}$

w (x_{1}, \dots, x_{i - 1}, x_{i}) = \sum_{x_{i + 1} \in {- 1, 1}} \dots \sum_{x_{d} \in {- 1, 1}} {(\sum_{j = 1}^{d} ω_{j} x_{j})}_{+}

$w(x_1, \dots, x_{i-1}, x_i) = \sum_{x_{i+1} \in \{-1, 1\}} \cdots \sum_{x_{d} \in \{-1, 1\}} \left( \sum_{j=1}^d \omega_j x_j \right)_+$

x_{i} = 1

$x_i = 1$

\frac{w (x_{1}, \dots, x_{i - 1}, 1)}{w (x_{1}, \dots, x_{i - 1}, 1) + w (x_{1}, \dots, x_{i - 1}, - 1)} .

$\frac{w(x_1, \dots, x_{i-1}, 1)}{w(x_1, \dots, x_{i-1}, 1) + w(x_1, \dots, x_{i-1}, -1)}.$

x_{1}, \dots, x_{i - 1}

$x_1, \dots, x_{i-1}$

अब, निश्चित रूप से, सवाल यह है कि गणना कैसे की जाए । $w(x_1, \dots, x_i)$

अगर हमारे पास वह , तो किसी भी के लिए अग्रणी प्रविष्टियाँ , और इसलिए : $C := \sum_{j=1}^{i} \omega_j x_j \ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ $\omega \cdot x \ge 0$ $x$ $x_{1:i}$ $w$

\begin{aligned} \sum_{x_{i + 1}} \dots \sum_{x_{d}} ω \cdot x & = ω \cdot (\sum_{x_{i + 1}} \dots \sum_{x_{d}} x) \\ = \sum_{j = 1}^{i} ω_{j} \underset{2^{d - i} x_{j}}{\underset{⏟}{(\sum_{x_{i + 1}} \dots \sum_{x_{d}} x_{j})}} + \sum_{j = i + 1}^{d} ω_{j} \underset{0}{\underset{⏟}{(\sum_{x_{i + 1}} \dots \sum_{x_{d}} x_{j})}} \\ = 2^{d - i} C . \end{aligned}

$\begin{align} \sum_{x_{i+1}} \cdots \sum_{x_d} \omega \cdot x &= \omega \cdot \left( \sum_{x_{i+1}} \cdots \sum_{x_d} x \right) \\&= \sum_{j=1}^i \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{2^{d-i} x_j} + \sum_{j=i+1}^d \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{0} \\&= 2^{d-i} C .\end{align}$

विपरीत स्थिति में, , हमारे पास वह और इसलिए । $C \le - \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ $\omega \cdot x \le 0$ $w(x_1, \dots, x_i) = 0$

अन्यथा, हमें का उपयोग करके पुनरावृत्ति करनी चाहिए । $w(x_1, \dots, x_i) = w(x_1, \dots, x_i, 1) + w(x_1, \dots, x_i, -1)$

मान लें कि स्मृति कोई समस्या नहीं है और हम एक पेड़ में , में सभी उप-गणनाओं को कैश कर सकते हैं - इस बिंदु तक कि हम "अच्छा" मामलों में से एक को मारते हैं, जिसके बाद कोई भी कॉल में निरंतर समय लगता है। (हमें इस पूरे पेड़ को का चयन करने के लिए वैसे भी गणना करने की आवश्यकता होगी ।) फिर, एक बार संगणनाओं के इस पेड़ के निर्माण के बाद, नमूना केवल समय लेगा । सवाल यह है कि पेड़ को बनाने में कितना समय लगता है, या समकक्ष कितना बड़ा है। $w(1)$ $w(-1)$ $x_1$ $w$ $O(d)$

हम निश्चित रूप से "अच्छा" मामलों को तेजी से यदि को सॉर्ट किया जाता है, । $\omega_i$ $\omega_1 \ge \omega_2 \ge \dots \ge \omega_d$

सर्वोत्तम स्थिति में, । फिर हम तुरंत या लिए "अच्छा" केस हिट करते हैं , इसलिए ट्री कंस्ट्रक्शन में लगातार समय लगता है, और पूरे सैंपलर में समय लगता है। $\lvert \omega_1 \rvert > \sum_{j=2}^d \lvert \omega_j \rvert$ $w(1)$ $w(-1)$ $w$ $O(d)$

सबसे खराब (सॉर्ट किए गए) मामले में, । फिर सवाल यह है कि कुल पेड़ कितना बड़ा है? $\omega_1 = \omega_2 = \dots = \omega_d$

ठीक है, समाप्त करने के लिए पहला रास्ता बेशक और लंबाई । पेड़ इसीलिए उस गहराई तक पूरा होता है, और इसलिए कम से कम नोड्स होते हैं। (यह अधिक है; आप शायद इसे एक तर्क के साथ पा सकते हैं जैसे जुआरी की बर्बादी की समस्याओं में इस्तेमाल होने वाले, लेकिन मैं इसे दो मिनट के Googling में नहीं पा सकता था और विशेष रूप से परवाह नहीं है - बुरा है बस....) $(1, 1, \dots, 1)$ $(-1, -1, \dots, -1)$ $\lceil d/2 \rceil$ $O(2^{d/2})$ $2^{d/2}$

यदि आपकी सेटिंग में केवल कुछ बहुत बड़े , तो यह संभवतः एक उचित व्यावहारिक दृष्टिकोण है। यदि सभी समान परिमाण के हैं, तो यह संभवतः अभी भी घातीय है और बड़े लिए बहुत महंगा है । $\omega_i$ $\omega_i$ $d$

— Dougal
स्रोत

इस Viterbi प्रकार के उन्मूलन के लिए धन्यवाद। जब आप "विपरीत मामले में" , तो मुझे लगता है कि आप इसे पहले मामले के पूरक का मतलब नहीं लेते हैं।

C_{i} \leq - \sum_{j = i + 1}^{d} | ω_{j} |

$C_i\le -\sum_{j=i+1}^{d} \lvert \omega_j \rvert$

C_{i} \geq \sum_{j = i + 1}^{d} | ω_{j} |

$C_i\ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$

— शीआन

नहीं, पूरक नहीं: जब यह बहुत बड़ा होता है तो आप जानते हैं कि ट्रंकेशन लागू नहीं होता है, जब यह बहुत छोटा होता है तो यह हमेशा लगाया जाता है, और बीच में आपको यह पता लगाने के लिए पुनरावृत्ति करनी चाहिए कि यह कब लागू होता है या नहीं।

— डगल