मैं कोहरे की स्थिति (3 वर्ग) पर छवियों को वर्गीकृत करने के लिए एक दृढ़ तंत्रिका नेटवर्क का प्रशिक्षण दे रहा हूं। हालाँकि, लगभग 150.000 छवियों में से प्रत्येक के लिए मेरे पास चार मौसम संबंधी चर उपलब्ध हैं जो छवियों के वर्गों की भविष्यवाणी करने में मदद कर सकते हैं। मैं सोच रहा था कि मैं मौजूदा CNN संरचना में मौसम संबंधी चर (जैसे तापमान, हवा की गति) को कैसे जोड़ सकता हूं ताकि यह वर्गीकरण में मदद कर सके।
एक तरीका है जिसके बारे में मैं पहले ही सोच सकता हूँ कि CNN के साथ-साथ एक और (छोटा) फीडफ़ेयर न्यूरल नेट बनाया जा रहा है और फिर CNN लेयर के आउटपुट और नॉन-इमेज न्यूरल नेट की छिपी हुई परतों को एक-दूसरे को डैमेज लेयर में समेट रहा है।
दूसरा तरीका जिसके बारे में मैं सोच सकता था कि वह इन सुविधाओं से घनी परत से संपर्क कर रहा है। हालांकि, इस मामले में, गैर-छवि चर (मुझे लगता है) केवल रैखिक भविष्यवाणियां करने में सक्षम होंगे।
क्या कोई अन्य (बेहतर) तरीके हैं जो गैर-छवि विशेषताओं को मॉडल में शामिल किया जा सकता है? और मेरे पास डेटा की मात्रा को देखते हुए क्या उचित तरीका होगा?
मेरे पास एक और सवाल है कि क्या मुझे इन गैर-छवि विशेषताओं के साथ प्रशिक्षण के दौरान दोषपूर्ण परतों को अनफेयर करना चाहिए या नहीं? Resnet-18 की ये परतें (जो ImageNet पर पूर्व प्रशिक्षित के रूप में आरंभीकृत की गई थीं) पहले से ही छवियों का उपयोग करके ठीक-ठीक तैयार की गई हैं। मेरा अनुमान है कि मुझे उन्हें जमे हुए रखना चाहिए और केवल घनी परत को उधेड़ना चाहिए क्योंकि यह केवल यहाँ है कि गैर-छवि सुविधाएँ छवि सुविधाओं (सीएनएन में पहले नहीं) के साथ 'संपर्क' में आती हैं। यदि मैं इस पर गलत हूँ, तो कृपया कहें!