इसका क्या मतलब है "सुविधाओं और वर्गों के बीच मापदंडों को साझा करें"

इस पत्र को पढ़ते समय एक पंक्ति होती है जो कहती है "रैखिक क्लासीफायर, सुविधाओं और कक्षाओं के बीच मापदंडों को साझा नहीं करते हैं।" इस कथन का अर्थ क्या है? क्या इसका मतलब है कि लॉजिस्टिक क्लासिफायर जैसे लॉजिस्टिक रिग्रेशन को उन विशेषताओं की आवश्यकता है जो पारस्परिक रूप से स्वतंत्र हैं?

machine-learning logistic-regression multilabel-classification

— आनंददीप भट्टाचार्जी
स्रोत

मैं लॉजिस्टिक रिग्रेशन के माध्यम से इस सवाल का जवाब देने की कोशिश करूंगा , सबसे सरल रैखिक क्लासिफायरियर में से एक।

रसद प्रतिगमन का सबसे सामान्य स्थिति अगर हम एक है द्विआधारी वर्गीकरण कार्य ( और केवल एक इनपुट सुविधा ( )। इस मामले में लॉजिस्टिक रिग्रेशन का आउटपुट होगा: $y \in\{0,1\})$ $x \in R$

\hat{y} = σ (w \cdot x + b)

$\hat y = σ(w \cdot x + b)$ जहां और दोनों स्केलर हैं । मॉडल का आउटपुट इस संभावना से मेल खाता है कि कक्षा ।

w

$w$

b

$b$

\hat{y} \in [0, 1]

$\hat y \in [0,1]$

x

$x$

1

$1$

हम वाक्यांश को तोड़ने की कोशिश करेंगे "रैखिक classifiers सुविधाओं और वर्गों के बीच मापदंडों को साझा नहीं करते हैं" दो भागों में। हम कई विशेषताओं और कई वर्गों के मामलों की अलग-अलग जांच करेंगे कि क्या लॉजिस्टिक रिग्रेशन उन कार्यों के लिए पैरामीटर साझा करता है:

क्या रेखीय क्लासीफायर सुविधाओं के बीच मापदंडों को साझा करते हैं?

इस मामले में, प्रत्येक उदाहरण के लिए, एक अदिश कि द्विआधारी मूल्यों (पहले की तरह) लेता है, जबकि एक है वेक्टर लंबाई के (जहां सुविधाओं की संख्या है)। यहां, आउटपुट इनपुट सुविधाओं का एक रैखिक संयोजन है (यानी इन सुविधाओं का एक भारित योग प्लस के आधार पर)। $y$ $x$ $N$ $N$

\hat{y} = σ (\sum_{i}^{N} (w_{i} \cdot x_{i}) + b) o r σ (w \cdot x + b)

$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$ जहां और लंबाई वैक्टर हैं । उत्पाद एक अदिश उत्पादन करता है। जैसा कि आप ऊपर से देख सकते हैं कि प्रत्येक इनपुट सुविधा लिए एक अलग वेट और ये भार सभी तरीकों से स्वतंत्र हैं । इससे हम यह निष्कर्ष निकाल सकते हैं कि सुविधाओं के बीच कोई पैरामीटर साझा नहीं है ।

x

$\mathbf x$

w

$\mathbf w$

N

$N$

x \cdot w

$\mathbf x \cdot \mathbf w$

w_{i}

$w_i$

x_{i}

$x_i$

क्या रेखीय क्लासिफायर कक्षाओं के बीच मापदंडों को साझा करते हैं?

इस स्थिति में एक अदिश राशि है, हालाँकि लंबाई का एक वेक्टर है (जहाँ कक्षाओं की संख्या है)। इससे निपटने के लिए, लॉजिस्टिक रिग्रेशन अनिवार्य रूप से प्रत्येक कक्षाओं के लिए एक अलग आउटपुट पैदा करता है । प्रत्येक आउटपुट एक स्केलर और कक्षा से संबंधित की संभावना से मेल खाता है । $x$ $y$ $M$ $M$ $y_j$ $M$ $y_j \in [0,1]$ $x$ $j$

\hat{y} = w \cdot x + b, w h e r e \hat{y} = {\hat{y}}_{1}, {\hat{y}}_{2}, . . ., y_{M}

$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$

इसके बारे में सोचने का सबसे आसान तरीका है सरल स्वतंत्र लॉजिस्टिक रेजिमेंट जिनमें से प्रत्येक का एक आउटपुट है: $M$

{\hat{y}}_{j} = σ (w_{j} \cdot x + b_{j})

$\hat y_j = σ(w_j \cdot x + b_j)$

ऊपर से यह स्पष्ट है कि विभिन्न वर्गों के बीच कोई भी वजन साझा नहीं किया जाता है ।

बहु-सुविधा और बहु-वर्ग :

उपरोक्त दो मामलों को मिलाकर हम अंत में कई विशेषताओं और कई वर्गों के सबसे सामान्य मामले तक पहुंच सकते हैं:

\hat{y} = σ (W \cdot x + b)

$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$ जहां आकार वाला एक वेक्टर है , एक वेक्टर है, जिसका आकार एक वेक्टर है , , आकार के साथ एक वेक्टर है और आकार के साथ एक मैट्रिक्स है ।

\hat{y}

$\mathbf{ \hat y}$

M

$M$

x

$\mathbf x$

N

$N$

b

$\mathbf b$

M

$M$

W

$W$

(N \times M)

$(N \times M)$

किसी भी मामले में, रैखिक क्लासीफायर सुविधाओं या कक्षाओं के बीच किसी भी पैरामीटर को साझा नहीं करते हैं ।

अपने दूसरे सवाल का जवाब करने के लिए, रैखिक classifiers एक अंतर्निहित धारणा है कि सुविधाओं स्वतंत्र होने की जरूरत है लेकिन यह है, नहीं क्या कागज के लेखक कहते हैं कि करने के उद्देश्य से।

— Djib2011
स्रोत

अच्छी व्याख्या। :)

— आनंददीप भट्टाचार्जी