निम्नलिखित 1 आयामी अनुक्रम मान लें:
A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ...
A, B, C, ..यहाँ पत्र 'साधारण' घटनाओं का प्रतिनिधित्व करते हैं।
#, $, %, ...यहाँ प्रतीक 'विशेष' घटनाओं का प्रतिनिधित्व करते हैं
सभी घटनाओं के बीच अस्थायी अंतर गैर-समान है (सेकंड से कुछ भी, दिनों तक), हालांकि अतीत में एक घटना के रूप में आगे की घटनाओं को प्रभावित करने की संभावना कम है। आदर्श रूप से मैं इन समयों को ध्यान में रखकर देरी कर सकता हूं।
10000 सामान्य घटना प्रकारों के क्रम पर हैं, और 100 विशेष घटना प्रकारों के क्रम पर हैं। एक विशेष घटना से पहले की सामान्य घटनाओं की मात्रा भिन्न होती है लेकिन 100-300 से अधिक होने की संभावना नहीं है।
मूल रूप से मैं साधारण घटना क्रम में पैटर्न की तलाश में दिलचस्पी रखता हूं जो विशेष घटनाओं के लिए भविष्य कहनेवाला है।
अब आप इसे विभिन्न तरीकों से देख सकते हैं: फीचर वैक्टर + मानक वर्गीकरण, एसोसिएशन रूल लर्निंग, एचएमएम, आदि बनाना।
इस मामले में Im उत्सुक है कि एक LSTM आधारित नेटवर्क कैसे सबसे अच्छा फिट होगा। सीधे तौर पर कुछ ऐसा करना होगा जैसे कि करपर्ति के चार-रैन और अगले घटना के इतिहास की भविष्यवाणी करना। फिर एक नए सीक्वेंस के लिए
C, Z, Q, V, V, ... , V, W
आप इसे मॉडल के माध्यम से चला सकते हैं और देख सकते हैं कि आगे आने के लिए सबसे विशेष घटना क्या है। लेकिन यह सही फिट महसूस नहीं करता है।
चूंकि यह एक लौकिक वर्गीकरण समस्या है, इसलिए ऐसा लगता है कि एलेक्स ग्रेव्स द्वारा वर्णित के रूप में कनेक्शनवादी टेम्पोरल वर्गीकरण का उपयोग करना उचित है ।
हालांकि, इस समय बहुत अधिक निवेश करने से पहले मैं कुछ आसान और त्वरित खोज रहा हूं ताकि यह महसूस किया जा सके कि यहां एलएसटीएम कितना अच्छा होगा। Tensorflow कुछ बिंदु पर CTC उदाहरण देखेगा , लेकिन अभी तक नहीं।
तो मेरे (उप) प्रश्न हैं:
- ऊपर दी गई समस्या को देखते हुए और मैं LSTM के साथ प्रयोग करना चाहूंगा, क्या यह चार-आरएन प्रकार के दृष्टिकोण की कोशिश करने के लायक है, क्या मुझे बुलेट को काटने और सीटीसी के साथ पकड़ना चाहिए, या शुरू करने के लिए एक बेहतर जगह है।
- आप अंतर-इवेंट टाइमिंग जानकारी को कैसे स्पष्ट रूप से शामिल करेंगे। नो-ऑप इवेंट्स के साथ एक निश्चित घड़ी का उपयोग करना स्पष्ट रूप से काम करता है लेकिन बदसूरत लगता है।
- मान लें कि मैं एक LSTM को प्रशिक्षित करने में कामयाब रहा, तो यह देखने के लिए मॉडल का निरीक्षण करने का एक तरीका है कि इसे किस प्रकार के 'रूपांकनों' ने उठाया है? (यानी, काफिले में फिल्टर के अनुरूप)
कोई भी नमूना कोड (अजगर पसंदीदा) हमेशा मददगार।
संपादित करें: बस जोड़ने के लिए कि अनुक्रम में कुछ शोर है। कुछ घटनाओं को सुरक्षित रूप से अनदेखा किया जा सकता है, लेकिन वास्तव में जिन्हें सामने कहना संभव नहीं है। तो आदर्श रूप से मॉडल (और इससे प्राप्त मोटिफ्स) इसके खिलाफ मजबूत है।