क्यों दसियों के साथ अचानक आकर्षण?

171

मैंने हाल ही में देखा है कि बहुत सारे लोग कई तरीकों (टैंसर फैक्टराइजेशन, टेनर कर्नेल, विषय मॉडलिंग के लिए टेंसर्स आदि) के टेनॉर समकक्ष विकसित कर रहे हैं, मैं सोच रहा हूं, दुनिया अचानक टेंसर्स के साथ क्यों मोहित हो गई है? क्या हाल के पेपर / मानक परिणाम हैं जो विशेष रूप से आश्चर्यजनक हैं, जो इस बारे में लाए हैं? क्या यह कम्प्यूटेशनल रूप से पहले से संदिग्ध से बहुत सस्ता है?

मैं glib नहीं कर रहा हूँ, मुझे ईमानदारी से दिलचस्पी है, और अगर इस बारे में कागजात के लिए कोई संकेत हैं, तो मैं उन्हें पढ़ना पसंद करूंगा।

— वाईएस
स्रोत

25

ऐसा लगता है कि केवल बनाए रखने की सुविधा की तरह है कि "बड़े डेटा टेनर्स" सामान्य गणितीय परिभाषा के साथ साझा करते हैं कि वे बहुआयामी सरणियाँ हैं। तो मैं कहूंगा कि बड़े डेटा टेंसर्स "बहुआयामी सरणी" कहने का एक विपणन तरीका है, क्योंकि मुझे अत्यधिक संदेह है कि मशीन सीखने वाले लोग या तो समरूपता या परिवर्तन कानूनों के बारे में परवाह करेंगे, जो गणित और भौतिकी के सामान्य दसियों का आनंद लेते हैं, विशेषकर उनकी उपयोगिता समन्वित मुक्त समीकरण बनाने में।

— एलेक्स आर।

2

@AlexR। परिवर्तनों के प्रतिलोम के बिना कोई दशांश नहीं है

— अक्सकाल

2

@ अक्षल मैं निश्चित रूप से भौतिकी में टेनर्स के उपयोग से कुछ हद तक परिचित हूं। मेरा कहना यह है कि भौतिकी के सममिति में समरूपता भौतिकी के समरूपता से आती है, न कि दहाई के मानदण्ड में।

— 19

3

@aginensky यदि एक टेंसर एक बहुआयामी सरणी से अधिक कुछ नहीं था, तो गणित की पाठ्यपुस्तकों में पाए जाने वाले टेंसरों की परिभाषाएं इतनी जटिल क्यों हैं? विकिपीडिया से: "बहुआयामी सरणी में संख्याओं को टेन्सर के स्केलर घटकों के रूप में जाना जाता है ... जिस प्रकार वेक्टर वेक्टर के घटक बदलते हैं जब हम वेक्टर स्पेस का आधार बदलते हैं, तो एक टेन्सॉर के घटक भी ऐसे ही बदल जाते हैं।" परिवर्तन। प्रत्येक टेंसर एक ट्रांसफ़ॉर्मेशन कानून से लैस है, जो बताता है कि कैसे टेनसर के घटक आधार के परिवर्तन का जवाब देते हैं। " गणित में, एक टेंसर केवल एक सरणी नहीं है।

— छोटू

4

इस चर्चा पर बस कुछ सामान्य विचार: मुझे लगता है कि, वैक्टर और मैट्रिस के साथ, वास्तविक अनुप्रयोग अक्सर बहुत समृद्ध सिद्धांत का एक सरल-सरल तात्कालिकता बन जाता है। मैं इस पेपर को और अधिक गहराई से पढ़ रहा हूं: epubs.siam.org/doi/abs/10.1137/07070111X?journalCode=siread और एक चीज जो मुझे वास्तव में प्रभावित कर रही है, वह यह है कि मैट्रिसेस (eigenvalue और एकवचन मूल्य decompositions) के "प्रतिनिधि" उपकरण। उच्च क्रमों में दिलचस्प सामान्यीकरण हैं। मुझे यकीन है कि कई सूचकांकों के लिए सिर्फ एक अच्छा कंटेनर के अलावा और भी कई सुंदर गुण हैं। :)

— YS

89

सेंसर अक्सर डेटा के अधिक प्राकृतिक प्रतिनिधित्व प्रदान करते हैं, उदाहरण के लिए, वीडियो पर विचार करें, जिसमें समय के साथ स्पष्ट रूप से सहसंबद्ध छवियां शामिल हैं। आप इसे एक मैट्रिक्स में बदल सकते हैं, लेकिन यह सिर्फ प्राकृतिक या सहज नहीं है (वीडियो के कुछ मैट्रिक्स-प्रतिनिधित्व का एक कारक क्या है?)।

कई कारणों से सेंसर ट्रेंड कर रहे हैं:

मल्टीलाइनर बीजगणित की हमारी समझ में तेजी से सुधार हो रहा है, विशेष रूप से विभिन्न प्रकार के कारकों में, जो बदले में हमें नए संभावित अनुप्रयोगों (जैसे, मल्टीवे घटक विश्लेषण ) की पहचान करने में मदद करता है।
सॉफ्टवेयर उपकरण उभर रहे हैं (उदाहरण के लिए, तेंसोरलैब ) और उनका स्वागत किया जा रहा है
बिग डेटा एप्लिकेशन को अक्सर टेंसरों का उपयोग करके हल किया जा सकता है, उदाहरण के लिए अनुशंसाकर्ता सिस्टम , और बिग डेटा स्वयं गर्म है
कम्प्यूटेशनल पावर में वृद्धि, क्योंकि कुछ टेंसर ऑपरेशन भारी हो सकते हैं (यह भी प्रमुख कारणों में से एक है कि गहन शिक्षा अब क्यों लोकप्रिय है)

— मार्क क्लेसेन
स्रोत

9

कम्प्यूटेशनल शक्ति भाग पर: मुझे लगता है कि सबसे महत्वपूर्ण यह है कि रैखिक बीजगणित GPUs पर बहुत तेज़ हो सकता है, और हाल ही में उन्हें बड़ी और तेज़ यादें मिली हैं, जो कि बड़े डेटा को संसाधित करते समय सबसे बड़ी सीमा होती है।

— डेविड एमएच

6

मार्क क्लेसेन का जवाब एक अच्छा है। डेविड ड्यूसन, ड्यूक में सांख्यिकी के प्रतिष्ठित प्रोफेसर, इस प्रस्तुति के रूप में मॉडलिंग के लिए दसियों आधारित दृष्टिकोणों के प्रमुख प्रतिपादकों में से एक रहे हैं, बेयसियन टेन्सर रिग्रेशन । icerm.brown.edu/materials/Slides/sp-f12-w1/…

— माइक हंटर

जैसा कि डेविड ने उल्लेख किया है, टेन्सर एल्गोरिदम अक्सर खुद को समानता के लिए अच्छी तरह से उधार देते हैं, जो हार्डवेयर (जैसे कि GPU त्वरक) तेजी से बेहतर होते हैं।

— थॉमस रसेल

1

मैंने मान लिया कि बेहतर मेमोरी / सीपीयू क्षमताएं एक भूमिका निभा रही थीं, लेकिन हाल ही में ध्यान का फट जाना दिलचस्प था; मुझे लगता है कि यह अनुशंसाकर्ता सिस्टम के साथ हाल ही में आश्चर्यजनक सफलताओं के कारण होना चाहिए, और शायद एसवीएम के लिए भी गुठली, आदि लिंक के लिए धन्यवाद! इस सामान के बारे में सीखना शुरू करने के लिए शानदार जगहें ...

— YS

5

यदि आप एक वीडियो को एक बहुआयामी सरणी के रूप में संग्रहीत करते हैं, तो मैं यह नहीं देखता कि कैसे इस बहुआयामी सरणी में कोई भी गुण होगा जो एक टेंसर के लिए माना जाता है। ऐसा नहीं लगता है कि "टेनर" शब्द इस उदाहरण में उपयुक्त है।

— छोटू

73

मुझे लगता है कि आपके सवाल का जवाब एक ऐसे उत्तर के साथ मिलना चाहिए जो समान रूप से मुक्त बहने वाला हो और खुले दिमाग वाला हो। इसलिए, यहाँ वे मेरी दो उपमाएँ हैं।

सबसे पहले, जब तक आप एक शुद्ध गणितज्ञ नहीं होते हैं, आपको संभवतः पहले अनवीयरेट किए गए संभावनाओं और आंकड़ों को सिखाया जाता था। उदाहरण के लिए, सबसे अधिक संभावना है कि आपका पहला ओएलएस उदाहरण संभवतः इस तरह के एक मॉडल पर था:

y_{मैं} = ए + ख {एक्स}_{मैं} + इ_{मैं}

$y_i=a+bx_i+e_i$ सबसे अधिक संभावना है, आप वास्तव में कम से कम वर्गों के योग को कम करने के माध्यम से अनुमान लगाते हैं:

टी एस एस = \underset{मैं}{Σ} (y_{मैं} - \bar{ए} - \bar{ख} {एक्स}_{मैं})^{2}

$TSS=\sum_i(y_i-\bar a-\bar b x_i)^2$ तो फिर तुम लिखने एफओसीमापदंडों के लिए और समाधान प्राप्त:

\frac{\partial टी टी एस}{\partial \bar{ए}} = 0

$\frac{\partial TTS}{\partial \bar a}=0$

फिर बाद में आपको बताया जाता है कि वेक्टर (मैट्रिक्स) संकेतन के साथ ऐसा करने का एक आसान तरीका है:

y = एक्स ख + इ

$y=Xb+e$

और टीटीएस हो जाता है:

टी टी एस = (y - एक्स \bar{ख})^{'} (y - एक्स \bar{ख})

$TTS=(y-X\bar b)'(y-X\bar b)$

हैं:

2 {एक्स}^{'} (y - एक्स \bar{ख}) = 0

$2X'(y-X\bar b)=0$

और समाधान है

\bar{ख} = ({एक्स}^{'} एक्स)^{- 1} {एक्स}^{'} y

$\bar b=(X'X)^{-1}X'y$

यदि आप रैखिक बीजगणित में अच्छे हैं, तो आप इसे सीख लेने के बाद दूसरे दृष्टिकोण से चिपके रहेंगे, क्योंकि यह वास्तव में पहले दृष्टिकोण में सभी रकमों को लिखने की तुलना में आसान है, विशेष रूप से एक बार जब आप बहुभिन्नरूपी आँकड़े प्राप्त करते हैं।

इसलिए मेरा सादृश्य यह है कि मेट्रिसेस से टेनसरों में जाना वैक्टर से मैट्रीस में जाने के समान है: यदि आप टेंसर्स को जानते हैं तो कुछ चीजें इस तरह आसान लगेंगी।

दूसरा, दसियों कहाँ से आते हैं? मैं इस चीज़ के पूरे इतिहास के बारे में निश्चित नहीं हूं, लेकिन मैंने उन्हें सैद्धांतिक यांत्रिकी में सीखा। निश्चित रूप से, हमारे पास टेंसर्स पर एक कोर्स था, लेकिन मुझे यह समझ में नहीं आया कि इन सभी फैंसी तरीकों से उस गणित पाठ्यक्रम में सूचकांक को स्वैप करने के लिए क्या सौदा था। यह सब तनाव बलों के अध्ययन के संदर्भ में समझ में आने लगा।

तो, भौतिकी में वे भी बल प्रति इकाई क्षेत्र के रूप में परिभाषित दबाव का एक सरल उदाहरण के साथ शुरू, इसलिए:

एफ = पी \cdot d एस

$F=p\cdot dS$ इसका मतलब है आप बल सदिश की गणना कर सकते

F

$F$ दबाव गुणा करके

p

$p$ क्षेत्र की इकाई द्वारा (अदिश)

d S

$dS$ (सामान्य वेक्टर)। ऐसा तब है जब हमारे पास केवल एक अनंत समतल सतह है। इस मामले में केवल एक सीधा बल है। एक बड़ा गुब्बारा अच्छा उदाहरण होगा।

हालांकि, यदि आप सामग्री के अंदर तनाव का अध्ययन कर रहे हैं, तो आप सभी संभावित दिशाओं और सतहों के साथ काम कर रहे हैं। इस मामले में आपके पास किसी भी सतह पर सभी दिशाओं में खींचने या धक्का देने की ताकत है, न केवल लंबवत। कुछ सतहों "बग़ल में" आदि तो, अपने समीकरण बन जाता है स्पर्शरेखा बलों द्वारा फाड़ रहे हैं:

एफ = पी \cdot घ एस

$F=P\cdot dS$ बल अभी भी एक वेक्टर है

F

$F$ और सतह क्षेत्र अभी भी अपनी सामान्य वेक्टर का प्रतिनिधित्व करती है

d S

$dS$ , लेकिन

P

$P$ एक है अब दशांश, अदिश नहीं।

ठीक है, एक स्केलर और एक वेक्टर भी टेंसर्स हैं :)

एक और जगह जहां टेनर्स स्वाभाविक रूप से दिखाई देते हैं, वे सहसंयोजक या सहसंबंध वाले मैट्रिसेस हैं। बस इसके बारे में सोचो: एक बार सहसंबंध मैट्रिक्स $C_0$ को एक और एक $C_1$ कैसे बदलना ? आपको पता हम सिर्फ यह इस तरह से नहीं कर सकते:

C_{θ} (i, j) = C_{0} (i, j) + θ (C_{1} (i, j) - C_{0} (i, j)),

$C_\theta(i,j)=C_0(i,j)+ \theta(C_1(i,j)-C_0(i,j)),$ जहां

θ \in [0, 1]

$\theta\in[0,1]$ क्योंकि हमें सभी

C_{θ}

$C_\theta$ पॉजिटिव सेमी-

रखने की जरूरत है।

तो, हम पथ को खोजने के लिए होगा $\delta C_\theta$ ऐसी है कि $C_1=C_0+\int_\theta\delta C_\theta$ , जहां $\delta C_\theta$ एक मैट्रिक्स के लिए एक छोटे से अशांति है। कई अलग-अलग रास्ते हैं, और हम सबसे छोटे लोगों को खोज सकते हैं। यही कारण है कि हम Riemannian ज्यामिति, मैनिफोल्ड्स, और ... टेनसोर में आते हैं।

अद्यतन: वैसे भी, दसियों क्या है?

@amoeba और अन्य लोगों ने टेंसर के अर्थ की जीवंत चर्चा की और क्या यह एक सरणी के समान है। इसलिए, मुझे लगा कि एक उदाहरण क्रम में है।

कहो, हम किराने का सामान खरीदने के लिए एक बाजार में जाते हैं, और दो व्यापारी दोस्त हैं, $d_1$ और $d_2$ । हमने देखा कि यदि हम $x_1$ डॉलर का भुगतान $d_1$ और $x_2$ डॉलर से $d_2$ तो $d_1$ हमें $y_1=2x_1-x_2$ पाउंड सेब बेचता है , और $d_2$ हमें बेचता है $y_2=-0.5x_1+2x_2$ संतरे। उदाहरण के लिए, यदि हम दोनों 1 डॉलर यानी $x_1=x_2=1$ , तो हमें 1 पाउंड सेब और 1.5 संतरे मिलना चाहिए।

हम इस संबंध को मैट्रिक्स $P$ के रूप में व्यक्त कर सकते हैं :

 2   -1
-0.5  2

तब व्यापारी इतना सेब और संतरे पैदा करते हैं यदि हम उन्हें $x$ डॉलर का भुगतान करते हैं :

y = पी एक्स

$y=Px$

यह वेक्टर गुणन द्वारा मैट्रिक्स की तरह काम करता है।

अब, मान लीजिए कि इन व्यापारियों से अलग से सामान खरीदने के बजाय, हम घोषणा करते हैं कि हमारे द्वारा उपयोग किए जाने वाले दो खर्च बंडल हैं। हम या तो दोनों 0.71 डॉलर का भुगतान करते हैं, या हम $d_1$ 0.71 डॉलर का भुगतान करते हैं और $d_2$ वापस से 0.71 डॉलर की मांग करते हैं। प्रारंभिक मामले की तरह, हम एक बाज़ार जाते हैं और बंडल पर $z_1$ और बंडल पर $z_2$ खर्च करते हैं ।

तो, आइए एक उदाहरण देखें जहां हम बंडल 1 पर सिर्फ $z_1=2$ खर्च करते हैं । इस मामले में, पहले व्यापारी को $x_1=1$ डॉलर मिलता है, और दूसरे व्यापारी को उसी $x_2=1$ । इसलिए, हमें उपरोक्त उदाहरण में समान मात्रा में उपज मिलनी चाहिए, क्या हम नहीं हैं?

शायद शायद नहीं। आपने देखा कि $P$ मैट्रिक्स विकर्ण नहीं है। यह इंगित करता है कि किसी कारण से उसकी उपज के लिए एक व्यापारी कितना शुल्क लेता है यह इस बात पर भी निर्भर करता है कि हमने दूसरे व्यापारी को कितना भुगतान किया है। उन्हें इस बात का अंदाजा होना चाहिए कि उन्हें कितना भुगतान करना होगा, शायद अफवाहों के माध्यम से? इस मामले में, यदि हम बंडलों में खरीदना शुरू करते हैं, तो वे यह सुनिश्चित करेंगे कि हम उनमें से प्रत्येक को कितना भुगतान करेंगे, क्योंकि हम अपने बंडलों को बाजार में घोषित करते हैं। इस मामले में, हम कैसे जानते हैं कि $P$ मैट्रिक्स समान रहना चाहिए?

हो सकता है कि बाजार में हमारे भुगतानों की पूरी जानकारी के साथ मूल्य निर्धारण सूत्र भी बदल जाएं! यह हमारे मैट्रिक्स $P$ को बदल देगा , और यह कहने का कोई तरीका नहीं है कि वास्तव में कैसे।

यह वह जगह है जहाँ हम दसियों में प्रवेश करते हैं। अनिवार्य रूप से, दसियों के साथ हम कहते हैं कि गणना में बदलाव नहीं होता है जब हम प्रत्येक व्यापारी के साथ सीधे बंडलों में व्यापार करना शुरू करते हैं। यह बाधा है, कि $P$ पर परिवर्तन नियम लागू करेंगे , जिसे हम एक टेंसर कहेंगे।

विशेष रूप से हम यह है कि हम एक orthonormal आधार नहीं है देख सकते हैं $\bar d_1,\bar d_2$ , जहां $d_i$ एक व्यापारी के लिए 1 डॉलर का भुगतान का मतलब है $i$ और अन्य के लिए कुछ नहीं। हम यह भी देख सकते हैं कि बंडलों भी एक orthonormal आधार के रूप में $\bar d_1',\bar d_2'$ , जो 45 डिग्री वामावर्त द्वारा पहले आधार का एक सरल रोटेशन है। यह पहले आधार का पीसी अपघटन भी है। इसलिए, हम कह रहे हैं कि बंडलों पर स्विच करना निर्देशांक का एक सरल परिवर्तन है, और इसे गणनाओं को नहीं बदलना चाहिए। ध्यान दें, यह एक बाहरी बाधा है जिसे हमने मॉडल पर लगाया है। यह मैट्रिस के शुद्ध गणित गुणों से नहीं आया था।

अब, हमारे खरीदारी वेक्टर के रूप में व्यक्त किया जा सकता $x=x_1 \bar d_1+x_2\bar d_2$ । वैक्टर टेंसर भी हैं, btw। टेन्सर दिलचस्प है: यह के रूप में प्रतिनिधित्व किया जा सकता है

पी = \underset{मैं जे}{Σ} {पी}_{मैं जे} {\bar{घ}}_{मैं} {\bar{घ}}_{जे}

$P=\sum_{ij}p_{ij}\bar d_i\bar d_j$ और, किराने का सामान के रूप में

y = y_{1} {\bar{d}}_{1} + y_{2} {\bar{d}}_{2}

$y=y_1 \bar d_1+y_2 \bar d_2$ । किराने का सामान के साथ

y_{i}

$y_i$ व्यापारी से उपज का पौंड का मतलब है

i

$i$ , नहीं डॉलर का भुगतान।

अब, जब हमने निर्देशांक को बंडलों में बदल दिया, तो टेंसर समीकरण समान रहता है:

y = पी z

$y=Pz$

यह अच्छा है, लेकिन भुगतान वैक्टर अलग आधार में अब कर रहे हैं:

z = z_{1} {\bar{घ}}_{1}^{'} + z_{2} {\bar{घ}}_{2}^{'}

$z=z_1 \bar d_1'+z_2\bar d_2'$ , हम पुराने आधार में उत्पादन वैक्टर रख सकते हैं, जबकि

y = y_{1} {\bar{d}}_{1} + y_{2} {\bar{d}}_{2}

$y=y_1 \bar d_1+y_2 \bar d_2$ । टेन्सर भी परिवर्तन:

पी = \underset{मैं जे}{Σ} {पी}_{मैं जे}^{'} {\bar{घ}}_{मैं}^{'} {\bar{घ}}_{जे}^{'}

$P=\sum_{ij}p_{ij}'\bar d_i'\bar d_j'$ । यह प्राप्त करने के लिए कैसे टेन्सर तब्दील किया जाना चाहिए आसान है, यह होने वाला है

P A

$PA$ , जहां रोटेशन मैट्रिक्स के रूप में परिभाषित किया गया है

{\bar{d}}^{'} = A \bar{d}

$\bar d'=A\bar d$ । हमारे मामले में यह बंडल का गुणांक है।

हम टेंसर परिवर्तन के लिए सूत्र तैयार कर सकते हैं, और वे उसी परिणाम प्राप्त करेंगे जैसे $x_1=x_2=1$ और $z_1=0.71,z_2=0$ साथ उदाहरणों में ।

— अक्सकल
स्रोत

2

मैं इधर से उधर हो गया:

So, let's look at an example where we spend just z1=1.42 on bundle 1. In this case, the first merchant gets x1=1 dollars, and the second merchant gets the same x2=1.

पहले आप कहते हैं कि पहली बंडल हम हैं pay both 0.71 dollars। तो पहले बंडल पर 1.42 खर्च करने पर 0.71 प्रत्येक और 1 नहीं, 1 मिलना चाहिए?

— अमीबा

@ameba, विचार है कि एक बंडल 1 है

, इसलिए

साथ

{\bar{d}}_{1} / \sqrt{2} + {\bar{d}}_{2} / \sqrt{2}

$\bar d_1/ \sqrt 2+\bar d_2/ \sqrt 2$

\sqrt{2}

$\sqrt 2$ बंडल 1 आप प्राप्त

, यानी 1 $ प्रत्येक

{\bar{d}}_{1} + {\bar{d}}_{2}

$\bar d_1+\bar d_2$

— Aksakal

2

@ अक्षल, मैं जानता हूं कि यह चर्चा काफी पुरानी है, लेकिन मुझे वह नहीं मिलती (हालांकि मैं वास्तव में कोशिश कर रहा था)। कहाँ है कि विचार यह है कि एक बंडल 1 है

आए? क्या आप विस्तृत कर सकते हैं? कैसे है कि जब आप बंडल के लिए 1.42 का भुगतान करते हैं तो दोनों व्यापारियों को 1 मिलता है?

{\bar{d}}_{1} / \sqrt{2} + {\bar{d}}_{2} / \sqrt{2}

$\bar d_1/ \sqrt 2+\bar d_2/ \sqrt 2$

— मेटक

@ अक्षल यह बहुत अच्छा है, धन्यवाद! मुझे लगता है कि आपके पास बहुत ही अंतिम पंक्ति पर एक टाइपो है, जहां आप X1 = x2 = 1 (सही) और z1 = 0.71, z2 = 0. कहते हैं कि मैंने सब कुछ सही ढंग से समझा, z1 को 1.42 (या 1.41) होना चाहिए, जो थोड़ा करीब है 2 ^ 0.5)।

— माइक विलियमसन

71

यह आपके सवाल का जवाब नहीं है, लेकिन इस मुद्दे पर एक विस्तारित टिप्पणी जो अलग-अलग लोगों द्वारा टिप्पणियों में यहां उठाया गया है, अर्थात्: मशीन लर्निंग "टेनर्स" हैं जो गणित में दसियों के समान है?

अब, Cichoki 2014 के अनुसार, बिग डेटा प्रोसेसिंग का युग: एक नया दृष्टिकोण Tensor Networks और Tensor Decompositions के माध्यम से , और Cichoki et al। 2014, सिग्नल प्रोसेसिंग अनुप्रयोगों के लिए टेन्सर डेकोम्पोजिशन ,

एक उच्च-क्रम टेंसर को मल्टीवे सरणी के रूप में व्याख्या किया जा सकता है, [...]

एक टेंसर को एक बहु-सूचकांक संख्यात्मक सरणी के रूप में माना जा सकता है, [...]

सेंसर (यानी, मल्टी-वे एरेज़) [...]

तो मशीन लर्निंग / डेटा प्रोसेसिंग में एक टेन्सर को केवल एक बहुआयामी संख्यात्मक सरणी के रूप में परिभाषित किया गया प्रतीत होता है। इस तरह के 3 डी टेंसर का एक उदाहरण आकार के वीडियो फ्रेम होगा । एक सामान्य डेटा मैट्रिक्स इस परिभाषा के अनुसार 2D टेंसर का एक उदाहरण है। $1000$ $640\times 480$ $n\times p$

यह नहीं है कि गणित और भौतिकी में दशको को कैसे परिभाषित किया जाता है!

एक टेंसर को एक बहुआयामी सरणी के रूप में परिभाषित किया जा सकता है जो निर्देशांक के परिवर्तन के तहत कुछ परिवर्तन कानूनों का पालन करता है ( देखें विकिपीडिया या MathWorld लेख में पहला वाक्य )। एक बेहतर होता लेकिन उसके बराबर परिभाषा ( विकिपीडिया देख ) का कहना है कि वेक्टर अंतरिक्ष पर एक टेन्सर का एक तत्व है $V$ । ध्यान दें कि इसका मतलब है कि, जब बहुआयामी सरणियों के रूप में प्रतिनिधित्व किया जाता है, तो टेंसर्स आकार या आदि होते हैं, जहां , की । $V\otimes\ldots\otimes V^*$ $p\times p$ $p\times p\times p$ $p$ $V$

भौतिकी में जाने-माने सभी टेंसर्स इस तरह हैं: यांत्रिकी में जड़ता टेंसर , $3\times 3$ $4\times 4$ $4\times 4\times 4\times 4$ $V$

बेशक एक निर्माण कर सकते हैं $V\otimes W$ $p$ $V$ $q$ $W$

$V$

आंकड़ों में एक वास्तविक टेंसर का एक उदाहरण एक कोवरियन मैट्रिक्स होगा। यह है $p\times p$ $p$ $V$ $n\times p$ $X$

$X$ $W\otimes V$ $W$ $n$ $V$ $p$ $X$ $V$ $W$ $X$ $W\otimes V$

$X\in\mathbb R^{n\times p}$ $R^{n\times p}$ $n\times p$

मेरा निष्कर्ष है: (ए) मशीन सीखने वाले टेंसर गणित / भौतिकी के टॉन्सर्स नहीं हैं, और (बी) यह ज्यादातर उन्हें टेनर उत्पादों के तत्वों के रूप में देखने के लिए उपयोगी नहीं है।

इसके बजाय, वे मेट्रिसेस के बहुआयामी सामान्यीकरण हैं। दुर्भाग्य से, इसके लिए कोई स्थापित गणितीय शब्द नहीं है, इसलिए ऐसा लगता है कि "टेंसर" का यह नया अर्थ अब यहां रहना है।

— एक सलि का जन्तु
स्रोत

19

p

$p$

10

n

$n$

3

$3$

n

$n$

4

@amoeba, प्रोग्रामिंग में बहुआयामी मैट्रिक्स को आमतौर पर कहा जाता है है , लेकिन कुछ भाषाएं जैसे MATLAB उन्हें मेट्रिसेस कहेगी । उदाहरण के लिए, FORTRAN में सरणियों के 2 से अधिक आयाम हो सकते हैं। C / C ++ / Java जैसी भाषाओं में सरणियाँ एक आयामी होती हैं, लेकिन आपके पास सरणियों के सारणी हो सकते हैं, जिससे वे बहुआयामी सरणियों की तरह भी काम कर सकते हैं। MATLAB वाक्य रचना में 3 या अधिक आयामी सरणियों का समर्थन करता है।

— अक्कल

3

वो बहुत रुचिकर है। मुझे उम्मीद है कि आप उस बिंदु पर जोर देंगे। लेकिन कृपया ध्यान रखें कि एक वेक्टर स्थान के साथ एक सेट को भ्रमित करने के लिए इसे निर्धारित न करें, क्योंकि आंकड़ों में अंतर महत्वपूर्ण है। विशेष रूप से (अपने उदाहरणों में से एक को लेने के लिए), हालांकि लोगों का एक रैखिक संयोजन अर्थहीन है, का एक रैखिक संयोजन लोगों के एक सेट पर वास्तविक-मूल्यवान कार्यों सार्थक और महत्वपूर्ण दोनों है। उदाहरण के लिए, यह लीनियर रिग्रेशन को हल करने की कुंजी है।

— whuber

8

प्रति T. Kolda, B, Bada, "Tensor Decompositions and Applications" SIAM Review 2009, epubs.siam.org/doi/pdf/10.1137/07070111X 'एक टेंसर एक बहुआयामी सरणी है। अधिक औपचारिक रूप से, एक एन-वे या एनटीटी-ऑर्डर टेंसर एन वेक्टर रिक्त स्थान के टैंसर उत्पाद का एक तत्व है, जिनमें से प्रत्येक की अपनी समन्वय प्रणाली है। टेंसरों की यह धारणा भौतिकी और इंजीनियरिंग (जैसे तनाव टेंसर्स) में टेंसरों के साथ भ्रमित नहीं होना है, जिन्हें आमतौर पर गणित में टेंसर फ़ील्ड के रूप में जाना जाता है "

— मार्क एल। स्टोन

14

जैसा कि कोई व्यक्ति जो तंत्रिका नेटवर्क का अध्ययन करता है और बनाता है और इस सवाल को बार-बार पूछता है, मैं इस नतीजे पर पहुंचा हूं कि हम टेंसर नोटेशन के उपयोगी पहलुओं को केवल इसलिए उधार लेते हैं क्योंकि वे व्युत्पत्ति को बहुत आसान बनाते हैं और हमारे ग्रेडिएंट को उनके मूल आकार में रखते हैं। टेन्सर श्रृंखला नियम सबसे खूबसूरत व्युत्पत्ति उपकरण मैंने कभी देखा है में से एक है। इसके अलावा टेंसर संकेतन कम्प्यूटेशनल रूप से कुशल सरलीकरण को प्रोत्साहित करते हैं जो कि वेक्टर पथरी के सामान्य विस्तारित संस्करणों का उपयोग करते समय बस बुरे सपने को देखते हैं।

में वेक्टर / मैट्रिक्स पथरी उदाहरण के लिए मैट्रिक्स उत्पादों (Hadamard, क्रोनेकर, साधारण, और Elementwise) के 4 प्रकार के होते हैं, लेकिन में टेन्सर पथरी गुणन का केवल एक प्रकार है अभी तक यह सब मैट्रिक्स गुणा और अधिक शामिल हैं। यदि आप उदार होना चाहते हैं, तो दसियों की व्याख्या करें बहुआयामी सरणी का मतलब है कि हम डेरिवेटिव खोजने के लिए टेंसर आधारित कैलकुलस का उपयोग करने का इरादा रखते हैं, न कि यह कि हम जिन वस्तुओं में हेरफेर कर रहे हैं वे टेंसर्स हैं ।

सभी ईमानदारी में हम शायद अपने बहुआयामी सरणियों को दसियों कहते हैं क्योंकि अधिकांश मशीन सीखने वाले विशेषज्ञों को उच्च स्तरीय गणित या भौतिकी की परिभाषाओं का पालन करने के बारे में ज्यादा परवाह नहीं है। वास्तविकता यह है कि हम केवल अच्छी तरह से विकसित आइंस्टीन संक्षेप सम्मेलनों और गणनाओं को उधार ले रहे हैं जो आमतौर पर टेनर्स का वर्णन करते समय उपयोग किए जाते हैं और आइंस्टीन योग सम्मेलन आधारित कलन को बार-बार कहना नहीं चाहते हैं। हो सकता है कि एक दिन हम नए नोटेशन और कन्वेंशन का एक सेट विकसित कर सकते हैं जो केवल दसियों कैलकुलस से चोरी करते हैं, विशेष रूप से तंत्रिका नेटवर्क के विश्लेषण के लिए, लेकिन एक युवा क्षेत्र के रूप में जो समय लेता है।

— जेम्स रायलैंड
स्रोत

कृपया अपने खातों को पंजीकृत और / या मर्ज करें (आप हमारे सहायता केंद्र के मेरा खाता अनुभाग में यह कैसे करें के बारे में जानकारी पा सकते हैं ), फिर आप अपने स्वयं के उत्तरों को संपादित और टिप्पणी करने में सक्षम होंगे।

— गंग

10

अब मैं वास्तव में अन्य उत्तरों की अधिकांश सामग्री से सहमत हूं। लेकिन मैं एक बिंदु पर शैतान के वकील की भूमिका निभाने जा रहा हूं। फिर से, यह मुक्त प्रवाह होगा, इसलिए माफी ...

Google ने गहन सीखने के लिए टेन्सर फ्लो नामक एक कार्यक्रम की घोषणा की। इससे मुझे आश्चर्य हुआ कि गहरी शिक्षा के बारे में 'टेंसर' क्या था, क्योंकि मैं उन परिभाषाओं से संबंध नहीं बना सकता था, जिन्हें मैंने देखा था।

$i$ $y$ पिछले परत के एक nonlinear समारोह के रूप में, फैंसी योग अंकन का उपयोग:

$y_i = \sigma(\beta_i^j x_j)$

अब मूल को-ऑर्डिनेट्स के उपयोगी प्रतिनिधित्व पर पहुंचने के लिए इस तरह के परिवर्तनों के एक समूह को एक साथ चेन करने का विचार है । इसलिए, उदाहरण के लिए, एक छवि के अंतिम परिवर्तन के बाद एक साधारण लॉजिस्टिक प्रतिगमन उत्कृष्ट वर्गीकरण सटीकता का उत्पादन करेगा; जबकि कच्ची छवि पर यह निश्चित रूप से नहीं होगा।

अब, जो चीज़ दृष्टि से लुप्त हो गई है, वह एक उचित टेंसर में मांगी गई विलक्षण गुण है। विशेष रूप से जब तब्दील चर के आयाम परत से परत तक भिन्न हो सकते हैं। [जैसे मैंने जो कुछ सामान टेनर्स पर देखा है, वह गैर-वर्ग के लिए कोई मतलब नहीं है जैकोबियंस - मुझे कुछ तरीकों की कमी हो सकती है]

जो बनाए रखा गया है वह चर के परिवर्तनों की धारणा है, और यह कि किसी वेक्टर के कुछ निरूपण विशेष कार्यों के लिए दूसरों की तुलना में अधिक उपयोगी हो सकते हैं। सादृश्यता है कि क्या यह कार्टेशियन या ध्रुवीय समन्वय में एक समस्या से निपटने के लिए अधिक समझ में आता है।

@ अक्षल के जवाब में EDIT:

निर्देशांक की संख्या में परिवर्तन के कारण वेक्टर को पूरी तरह से संरक्षित नहीं किया जा सकता है। हालांकि, कुछ अर्थों में कम से कम उपयोगी जानकारी को परिवर्तन के तहत संरक्षित किया जा सकता है। पीसीए के साथ उदाहरण के लिए, हम एक कोऑर्डिनेट छोड़ सकते हैं, इसलिए हम परिवर्तन को उलट नहीं सकते हैं, लेकिन आयामी कमी फिर भी उपयोगी हो सकती है। यदि सभी क्रमिक परिवर्तन उलटे थे, तो आप प्रायद्वीपीय परत से इनपुट स्थान पर वापस आ सकते हैं। जैसा कि यह है, मैंने केवल संभाव्य मॉडल देखे हैं जो नमूना द्वारा (RBMs) सक्षम करते हैं।

— अनुमान
स्रोत

1

तंत्रिका नेटवर्क के संदर्भ में मैंने हमेशा यह मान लिया था कि टेंसर्स सिर्फ बहुआयामी सरणियों के रूप में काम कर रहे थे। क्या आप इस बात पर विस्तार से बता सकते हैं कि अदर्शन गुणधर्म वर्गीकरण / प्रतिनिधित्व कैसे कर रहे हैं?

— YS

शायद मैं ऊपर स्पष्ट नहीं था, लेकिन यह मुझे लगता है - अगर व्याख्या सही है - अपरिवर्तनीय गुणों का लक्ष्य छोड़ दिया गया है। जो कुछ रखा गया है, वह परिवर्तनशील परिवर्तनों का विचार है।

— अनुमान

\bar{r}

$\bar r$

लेकिन यह नहीं है कि परिवर्तन की संपत्ति टेंसर से अधिक है? कम से कम रैखिक और तत्व-वार प्रकार के परिवर्तनों के साथ, जो तंत्रिका जाल में अधिक लोकप्रिय लगते हैं, वे वैक्टर और मैटिक्स के साथ समान रूप से मौजूद हैं; टेनर्स के अतिरिक्त लाभ क्या हैं?

— YS

1

@ विशेषण, पीसीए सिर्फ एक रोटेशन और प्रक्षेपण है। यह पीसी के आधार पर एन-डायमेंशनल स्पेस को घुमाने जैसा है, फिर सब-स्पेस को प्रोजेक्ट करता है। भौतिकी में समान स्थितियों में सेंसर का उपयोग किया जाता है, जैसे कि निकायों के अंदर सतहों पर बलों को देखते समय आदि

— अक्षल

7

यहाँ गैर-नेगेटिव टेन्सर फैक्टराइजेशन से लेकर सांख्यिकी और कंप्यूटर विज़न, ए। शशुआ और टी। हज़ान के एक हल्के से संपादित (संदर्भ के लिए) अंश हैं जो कम से कम कुछ लोगों को टेंसर्स के लिए मोहित करने के दिल में उतर जाता है।

किसी भी एन-आयामी समस्या को दो आयामी रूप में समवर्ती आयामों द्वारा दर्शाया जा सकता है। इस प्रकार, उदाहरण के लिए, छवियों के एक सेट के एक गैर-नकारात्मक निम्न रैंक के अपघटन को खोजने की समस्या एक 3-NTF (गैर-नकारात्मक सेंसर कारक) है, जिसमें छवियों को एक 3 डी घन के स्लाइस के रूप में बनाया जाता है, लेकिन इसका प्रतिनिधित्व भी किया जा सकता है। एनएमएफ़ (नॉन-निगेटिव मैट्रिक्स फैक्टराइजेशन) समस्या को वेक्टर करके (चित्र मैट्रिक्स के कॉलम बनाने वाले) समस्या।

दो कारण हैं कि छवियों के संग्रह का मैट्रिक्स प्रतिनिधित्व उचित नहीं होगा:

स्थानिक अतिरेक (पिक्सेल, जरूरी नहीं कि पड़ोसी, समान मूल्यों वाले) वैश्वीकरण में खो जाते हैं इस प्रकार हम एक कम कुशल कारक की उम्मीद करेंगे, और

एक NMF अपघटन अद्वितीय नहीं है, भले ही वहाँ एक स्थानीय मॉडल (स्थानीय भागों का) मौजूद हो, NMF आवश्यक रूप से उस दिशा में आगे नहीं बढ़ेगा, जिसे Chu, M., Diele, F., Plemmons, R., द्वारा अनुभवजन्य रूप से सत्यापित किया गया है। मैट्रिक्स एनालिसिस, 2004 के एसआईएएम जर्नल में "रागनी, एस।" नॉनिमिगेटिव मैट्रिक्स फैक्ट्रीजेशन की इष्टतमता, संगणना और व्याख्या। उदाहरण के लिए, चित्र के सेट पर अक्रियाशील भाग सभी कारकों में भूतों को बनाते हैं और स्पार्सिटी प्रभाव को दूषित करते हैं। एक एनटीएफ लगभग हमेशा अनूठा होता है, इसलिए हम एनटीएफ स्कीम को जेनेरेटिव मॉडल की ओर बढ़ने की उम्मीद करेंगे, और विशेष रूप से इनवेरिएंट भागों से प्रभावित नहीं होंगे।

— मार्क एल। स्टोन
स्रोत

6

[EDIT] सिर्फ सांख्यिकी में पीटर मैककुलघ, टेन्सर मेथड्स द्वारा पुस्तक की खोज की ।

सेंसर एक संकेत (या एक छवि) में अज्ञात मिश्रण पहचान में विशेष रूप से रुचि गुण प्रदर्शित करते हैं, विशेष रूप से कैनोनिकल पॉलैडिक (सीपी) टेंसर अपघटन की धारणा के आसपास, उदाहरण के लिए देखें सेंसर : एक संक्षिप्त परिचय , पी। कोमोन, 2014। क्षेत्र जाना जाता है "अंधा स्रोत पृथक्करण (BSS)" नाम के तहत:

Tensor decompositions कई ब्लाइंड सोर्स सेपरेशन (BSS) एल्गोरिदम के मूल में हैं, या तो स्पष्ट रूप से या अंतर्निहित रूप से। विशेष रूप से, Canonical Polyadic (CP) टेंसर अपघटन अल्पविकसित मिश्रणों की पहचान में केंद्रीय भूमिका निभाता है। कुछ समानताओं के बावजूद, CP और एकवचन मूल्य अपघटन (SVD) काफी भिन्न हैं। जैसा कि इस संक्षिप्त परिचय में बताया गया है, आम तौर पर, टेनर्स और मैट्रीस विभिन्न गुणों का आनंद लेते हैं।

तीसरे क्रम के दसियों के लिए हाल ही में कुछ अनोखे परिणाम निकाले गए हैं: तीसरे क्रम के दसियों ( भाग 1 , भाग 2 ), आई। डोमनोव एट अल के कैनोनिकल पॉलैडिक अपघटन की विशिष्टता पर ।, 2013।

गैर-विशिष्टता के साथ समायोजित करने के लिए अपघटन कारक (orthogonality, Vandermonde, Hankel), और निम्न रैंक पर संरचना को लागू करके, उदाहरण के लिए, तंतु विघटन अक्सर विरल विखंडन से जुड़े होते हैं।

अधूरा डेटा विश्लेषण और सेंसर सरणियों से जटिल माप के निर्धारण की बढ़ती आवश्यकता के साथ, मैट्रिक्स पूरा होने, अव्यक्त चर विश्लेषण और स्रोत पृथक्करण के लिए टेंसरों का तेजी से उपयोग किया जाता है।

अतिरिक्त नोट: जाहिरा तौर पर, कैनोनिकल पॉलैडिक अपघटन भी एक अस्वाभाविक बहुपद के वारिंग अपघटन के बराबर है, जो कि सिस्टम पहचान (ब्लॉक संरचित, समानांतर वीनर-हैमरस्टीन या नॉनलाइनियर स्टेट-स्पेस मॉडल) में अनुप्रयोगों के साथ रैखिक रूपों की शक्तियों के योग के रूप में है।

— लॉरेंट डुवल
स्रोत

3

क्या मैं अपनी पुस्तक का सम्मानपूर्वक सिफारिश कर सकता हूं: क्रूनबर्ग, पीएम एप्लाइड मल्टीवे डेटा एनालिसिस और स्मिल्ड एट अल। मल्टीवे विश्लेषण। रासायनिक विज्ञान में आवेदन (दोनों विली)। ब्याज की भी मेरा लेख हो सकता है: क्रूनबर्ग, पीएम (2014)। मल्टीवे घटक विश्लेषण और तीन-तरफा पत्राचार विश्लेषण का इतिहास। ब्लासियस, जे और ग्रीनकेरे में, एमजे (ईडीएस।)। विज़ुअलाइज़ेशन और डेटा का मौखिककरण (पीपी। 77-94)। न्यूयॉर्क: चैपमैन एंड हॉल / सीआरसी। आईएसबीएन 9781466589803

ये संदर्भ दसियों के बजाय मल्टीवे डेटा के बारे में बात करते हैं, लेकिन एक ही शोध क्षेत्र का संदर्भ देते हैं।

— पीएम क्रूनबर्ग
स्रोत

-1

यह सच है कि मशीन लर्निंग के लोग दसियों को गणितज्ञों और चिकित्सकों के समान देखभाल के साथ नहीं देखते हैं। यहां एक पेपर है जो इस विसंगति को स्पष्ट कर सकता है: कॉमोन पी।, "सेंसर: एक संक्षिप्त परिचय" आईईईई सिग। प्रोक। पत्रिका , 31, मई 2014

— मौन
स्रोत

5

क्या गणित / भौतिकी में एक टेंसर और मशीन लर्निंग में टेंसर का अंतर वास्तव में "देखभाल" में से एक है? ऐसा लगता है कि मशीन सीखने वाले लोग संख्याओं (स्केलर, वेक्टर, मैट्रिक्स और 3 या अधिक कुल्हाड़ियों के साथ सरणियों के लिए एक सामान्य शब्द के रूप में "टेंसर" का उपयोग करते हैं, उदाहरण के लिए टेन्सरफ्लो में), जबकि गणित (भौतिकी) संदर्भ में "टेनर" का एक अलग अर्थ होता है। जिसका अर्थ है। यह सुझाव देते हुए कि प्रश्न "देखभाल" के बारे में है, मुझे लगता है, मशीन सीखने की क्षमता में "गलत" के रूप में उपयोग को गलत तरीके से समझने के लिए, जब वास्तव में मशीन सीखने के संदर्भ में गणित / भौतिकी के उपयोग को ठीक से दोहराने का कोई इरादा नहीं है।

— साइकोरैक्स