मैं छवियों के एक सेट से एक 3D संरचना का पुनर्निर्माण कैसे कर सकता हूं?

Question

मेरे पास निम्न प्रकार से समूहीकृत (लाइन सेगमेंट का एक समूह) सेट है:

$S_i = \{I^0, I^\frac{\pi}{4}, I^\frac{2\pi}{4}, \ldots, I^\frac{7\pi}{4} \}$

कहा पे

• $S_i$ एक ठोस वस्तु की तस्वीरों के अनुक्रम को दर्शाता है।
• j t h j = $I^j$ एक छवि को दर्शाता है, बिंदु के साथ ( अर्थ है सामने का दृश्य)। $j^{th}$$j=0$

यहाँ (रियर व्यू) का उदाहरण दिया गया है : $I^\pi$

मैं दिए गए साथ वस्तु की 3D संरचना को कैसे पुन: निर्मित कर सकता हूं ?$S_i$

क्या कोई मुझे कुछ कागजात दे सकता है या मुझे कुछ कीवर्ड भी दे सकता है? मुझे पता है कि बहुत सारे लेख हैं जो अंकों के बादलों और इसी तरह से काम करते हैं, लेकिन वे काम नहीं करते हैं जैसे मैं लाइनों के साथ काम कर रहा हूं।

Answer 1

वास्तव में यह काफी कठिन विषय है। शास्त्रीय बहु-दृश्य 3 डी पुनर्निर्माण पहली जगह में बिंदु मिलान के साथ संबंधित है, अर्थात हर छवि पर एक ही बिंदु खोजें। प्रत्येक छवि के लिए कैमरा (दृश्य) मापदंडों को देखते हुए, मूल 3 डी बिंदु को फिर से संगठित किया जा सकता है। (लेजर या प्रोजेक्टर का उपयोग करके दृश्य को जलाया जा सकता है ताकि मिलान अपेक्षाकृत आसानी से किया जा सके।)

हार्टले और ज़िसरमैन द्वारा कंप्यूटर विज़न में मल्टीपल व्यू ज्योमेट्री इस फील्ड की बाइबिल है

पुस्तक में ट्राइफोकल टेंसर के बारे में एक खंड है, जो 3 विचारों के बीच एक बहुखंडीय बाधा है। इसमें न केवल बिंदु बल्कि रेखा पत्राचार की कमी भी शामिल है। इसका उपयोग पुनर्निर्माण के निर्माण के लिए बहुत अच्छी तरह से किया जा सकता है।

तो आपके कंट्रो को पहले स्थान पर मिलान किया जाना चाहिए, और शायद कैमरे के मापदंडों को जानकर इसे फिर से बनाया जा सकता है (कैमरा कैलिब्रेशन भी पुस्तक में शामिल है)। तब आपके पास 3 डी में कॉन्ट्रोवर्सी होंगी लेकिन इससे ज्यादा कुछ नहीं। वास्तविक सतहों के लिए आपको घने बिंदु मिलान करना होगा। हालांकि मैंने जिस टेनर का उल्लेख किया है वह अच्छा लग रहा है इसका उपयोग सीधी रेखाओं के लिए किया जाता है और मुझे यकीन है कि एक आधुनिक कार में सभी तरफ घुमावदार रेखाएं हैं।

मुझे नहीं पता कि आपको वो कॉन्ट्रोवर्सीज़ कैसे मिलीं, लेकिन आपने जो इमेज पोस्ट की है, उसे देखकर मुझे उस एल्गोरिथ्म की मजबूती के बारे में काफी संदेह है, इसलिए पुनर्निर्माण खराब होगा।

मेरे दिमाग में आया एक और तरीका दृश्य पतवार या अंतरिक्ष नक्काशी है । समोच्च गणित भी किया जाना चाहिए। प्रत्येक समोच्च पर विधि चलाना आपके पास मॉडल हो सकता है।

Comments

मैं Canny को लागू करके और फिर कुछ लाइन सरलीकरण एल्गोरिदम द्वारा द्विआधारी रेखापुंज लेता है और फिर किनारों के सेट पर वापस आता हूँ। वास्तव में, बिना फिल्टर्स के, सादे चित्रों को शामिल करना संभव है, लेकिन जिस कारण से मैंने इस तरीके से टास्क तैयार किया है, वह यह है कि मुझे अलग-अलग कोणों के तहत कंट्रोल्स की लगातार गणना करने की आवश्यकता होगी (जो कि बहुत कम डेल्टा हो सकता है: < ) मानना ​​है कि। मैंने सोचा, कि अगर मैं 3 डी में किनारों को पुनर्स्थापित कर सकता हूं, तो मुझे केवल इतना करना होगा कि केवल प्रक्षेपण करना है। हो सकता है, वह गलती थी (यदि हां, तो कृपया मुझे बताएं)। $\pi/4$

— om-nom-nom

मैं यह नहीं देखता कि आपको प्रक्षेपण से एक समोच्च 3 डी बिंदु कैसे मिलता है। एनआरबीएस सतहों के बीच फैले एनआरबीएस सतहों से निपटने के लिए 3 डी मॉडलिंग टेक्नीक हैं, लेकिन आपको उसके लिए विशेषता स्प्लिन प्रदान करना होगा। (शायद एक 3 डी कलाकार इस संदर्भ में शब्द की विशेषता को परिभाषित कर सकता है, लेकिन मुझे नहीं।) फिर से, मुझे लगता है कि आकार-से-समोच्च (दृश्य पतवार के समान) आपके लिए एक मोटा मॉडल बना सकता है। उसके बाद आप इसे छवियों के आधार पर परिष्कृत कर सकते हैं। लेकिन उसके लिए कोई मानक तरीके नहीं हैं।

— बैलिंट फोडर

Answer 2

जबकि फोडर हार्टले और ज़िसरमैन की पुस्तक का उल्लेख निश्चित रूप से पढ़ने के लायक है, यह व्यावहारिक एल्गोरिदम की तुलना में सामान्य समझ के लिए अधिक है। यह काफी पुराना है और वे तरीके कुशल नहीं हैं। आपकी समस्या के बारे में - समस्या का सूत्रीकरण बहुत ही असामान्य है। जैसा कि यह उल्लेख किया गया था कि फोडर ने कॉन्ट्रोवर्सीज़ के बजाय मैचिंग फ़ीचर पॉइंट्स के साथ शुरुआत करना बहुत आसान है। अंकों के मामले में उपलब्ध आधुनिक तरीकों का सबसे अच्छा अवलोकन ट्रिग्स "बंडल एडजस्टमेंट - ए मॉडर्न सिंथेसिस" द्वारा पेपर है लेकिन बंडल समायोजन का उपयोग करने से पहले आप छवियों पर इसी बिंदु को SIFT या टेम्पलेट मिलान जैसी किसी चीज़ का उपयोग करके मिलान करेंगे। 3 डी पुनर्निर्माण के लिए Googleकुछ पूर्ण तरीकों के उदाहरणों के लिए। आप इसके लिए ओपन सोर्स पैकेज का भी उपयोग कर सकते हैं, कई उपलब्ध हैं।

यदि आप समोच्च का उपयोग करने पर जोर देते हैं तो समस्या बहुत अधिक कठिन है, हालांकि अभी भी (बमुश्किल) ट्रैक्टेबल है। सबसे पहले आप सभी छवियों में संबंधित आकृति की पहचान करेंगे और उसके बाद मैच करेंगे, इसके बाद लागत फ़ंक्शन लिखेंगे - प्रत्येक मिलान किए गए आकृति समूह के लिए पुनरावृत्ति त्रुटियों के योग के रूप में कैमरा स्थिति और प्रत्येक छवि के अभिविन्यास से फ़ंक्शन। उसके बाद कैमरा स्थिति का सेट ढूंढें जो इस लागत फ़ंक्शन को कम करता है। इस प्रक्रिया का प्रत्येक चरण अत्यंत कठिन है, और ट्रिग्स की तरह अच्छा अवलोकन नहीं है। आप कुछ प्रासंगिक कागजात को "कंट्रोस" "कॉन्टर्स मैचिंग" "बंडल एडजस्टमेंट" "रिप्रोडक्शन एरर" "3 डी पुनर्निर्माण" के कुछ संयोजन के रूप में गूगल कर सकते हैं।

Comments

हालांकि SIFT जैसी सुविधाओं के साथ निपटा जाना निश्चित रूप से आसान है, समस्या यह है कि मेरे डोमेन में SIFT अक्सर चमकदार कारों की सतह पर छाया / प्रतिबिंब को पकड़ता है, इसलिए SIFT का उपयोग करके मुझे भारी मात्रा में शोर की सुविधाएँ मिल रही हैं जो एक वास्तविक पर भरोसा नहीं करता है कार का आकार इसलिए मेरे पास सटीकता की कमी है।

— om-nom-nom 15

यदि आप जानते हैं कि आप कार को देख रहे हैं, तो आप मॉडल-आधारित दृष्टिकोण की कोशिश कर सकते हैं। पैरामीट्रिक जेनेरिक कार मॉडल और सभी छवि पिक्सेल का उपयोग करके इसे चित्र में फिट करने का प्रयास करें। कैमरा पैरामीटर और कार मॉडल पैरामीटर के फ़ंक्शन के रूप में लागत फ़ंक्शन लिखें और इसे कम से कम करें। यह काम कर सकता है (या नहीं) - आपको लगता है कि काफी मुश्किल समस्या है।

— मिरर 2image

दुर्भाग्य से, मुझे समझ नहीं आया कि आपने क्या करने का प्रस्ताव दिया है। कृपया, कुछ उदाहरण प्रदान करें (यह बाहरी लेख, संबंधित कार्य या ऐसा कुछ हो सकता है)।

— सर्व-नामांकित-

मेरा मतलब है कि सक्रिय आकार मॉडल en.wikipedia.org/wiki/Active_shape_model या somethings imilar

— mirror2image

Answer 3

छवियों से मॉडल पुनर्निर्माण की जाँच करें जो आप क्या कर रहे हैं से थोड़ा अलग है लेकिन मैं बात करता हूं कि छवियों से 3 डी मॉडल में कैसे जाना है। मेशलैब को भी देखें , इसमें कुछ पुनर्निर्माण एल्गोरिदम हैं जो आप अपने डेटा को फीड करने में सक्षम हो सकते हैं।