2 डी कैमरे का उपयोग करके 3 डी स्थिति का अनुमान

Question

मेरे पास एक कैमरा (आईफोन) है, मेरे पास छवि में एक 3 डी कंट्रोल ऑब्जेक्ट है जिसे मैं इसके गुणों को अच्छी तरह से जानता हूं। (मेरी नियंत्रण वस्तु)। गति में एक द्वितीयक वस्तु भी है। अंतिम लक्ष्य किसी दिए गए समय के लिए चलती वस्तु के 3 डी प्रक्षेपवक्र की स्थापना करना है। (नज़र रखना)

मुझे पूछना पसंद है, क्या मुझे पता चल सकता है?

• नियंत्रण वस्तु के लिए फोन की दूरी (चर्चा के लिए, मान लें कि कैमरा कुछ ऊंचाई पर है और निश्चित दूरी पर दोनों में से कोई भी ज्ञात नहीं है लेकिन कैमरा उस सतह के लंबवत है जो ज्ञात है)

• द्वितीयक ऑब्जेक्ट जहां मैं प्रत्येक बाद के फ्रेम में ऑब्जेक्ट का पता लगा सकता हूं। मेरा लक्ष्य इसके 3 डी प्रक्षेपवक्र का अनुमान लगाना है जैसा मैंने ऊपर बताया है।

बोनस प्रश्न, हम सिस्टम को ऐसा बना सकते हैं कि नियंत्रण वस्तु पर फोन की दूरी निर्धारित की जा सकती है (हालांकि पसंदीदा नहीं है), क्या इससे मुझे दूसरे बिंदु पर मदद मिलेगी?

Comments

क्या आप इस क्षेत्र के साहित्य से परिचित हैं? यदि मैं कुछ कागजात की सिफारिश नहीं कर सकता, लेकिन चेतावनी दी है: गणित शामिल है।

— एमर

@ यदि आप कुछ संकेत प्रदान कर सकते हैं तो यह बहुत अच्छा होगा। गणित कोई समस्या नहीं है, हम गणित से प्यार करते हैं।

— Ktuncer

दृश्य ट्रैकिंग में विकिपीडिया , हाल के अग्रिम और रुझान देखें : एक समीक्षा [पीडीएफ], वीडियो एनालिटिक्स के लिए बायेसियन ट्रैकिंग: एक अवलोकन

— एमरे

@emre मैंने रिव्यू पेपर पर एक त्वरित नज़र डाली .. यह ट्रैकिंग के लिए अधिक है, मैं ऑब्जेक्ट को आसानी से ट्रैक कर सकता हूं, यह मुद्दा नहीं है। मैं उस पॉइंट को पिन कर सकता हूं जिसमें पिक्स ऑब्जेक्ट है। मुद्दा यह है कि ऑब्जेक्ट 3 डी स्पेस में कहां है। क्या यह संभव है? मूल रूप से, मेरे पास 3 डी स्पेस में एक और ऑब्जेक्ट है जो मुझे उन गुणों को जानता है जिन्हें मैं संदर्भ के फ्रेम के रूप में उपयोग कर सकता हूं लेकिन यह है।

— Ktuncer

आई एम सॉरी, गलत पेपर। शायद आप अज्ञात वातावरण [पीडीएफ] के लिए विज़न-आधारित 3 डी प्रक्षेपवक्र ट्रैकिंग को अनुकूलित कर सकते हैं ? वे एक स्टीरियो कैमरा का उपयोग करते हैं; क्या यह आपके लिए एक संभावना है?

— एमरे

Answer 1

यदि आप ऑब्जेक्ट में 6 ज्ञात बिंदु (ज्ञात 3D निर्देशांक, और ) हैं, तो आप ऑब्जेक्ट समन्वय प्रणाली से संबंधित कैमरे के स्थान की गणना कर सकते हैं।$X, Y$$Z$

पहले कुछ मूल बातें।

समरूप निर्देशांक यूक्लिडियन समन्वय की सदिश प्रस्तुति है जिसमें हमने तथाकथित पैमाने कारक को जोड़ दिया है, जैसे कि समरूप समन्वय । अपनी स्वयं की गणनाओं में जितनी बार संभव हो सके रखने का प्रयास करें (इसका अर्थ है कि आप सजातीय समन्वय को अपने अंतिम तत्व के साथ विभाजित करके "सामान्य" करते हैं: )। हम 2 डी बिंदुओं के लिए समरूप प्रस्तुति का उपयोग भी कर सकते हैं जैसे कि (याद रखें कि ये और$(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$प्रत्येक बिंदु के लिए अलग हैं, यह 2 डी या 3 डी बिंदु हो)। समरूप समन्वय प्रस्तुति गणित को आसान बनाती है।

कैमरा मैट्रिक्स डी प्रोजेक्शन मैट्रिक्स 3 डी दुनिया से छवि सेंसर के लिए है:$3\times4$

$$\textbf{x} = P\textbf{X}$$

जहां छवि सेंसर (पिक्सेल इकाइयों के साथ) पर बिंदु है और अनुमानित 3 डी बिंदु है (यह कहता है कि इसकी इकाइयों के रूप में मिलीमीटर है)।$\textbf{x}$$\textbf{X}$

हमें याद है कि दो 3-वैक्टरों के बीच क्रॉस उत्पाद को मैट्रिक्स-वेक्टर-गुणन के रूप में परिभाषित किया जा सकता है जैसे:

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

यह भी ध्यान रखना उपयोगी है कि उत्पादन को पार ।$\textbf{v} \times \textbf{v} = \textbf{0}$

अब पिछले समीकरणों से प्रोजेक्शन मैट्रिक्स को हल करने का प्रयास करें । लेफ्ट साइड से प्रोजेक्शन समीकरण को क्रॉस उत्पाद मैट्रिक्स से गुणा करें :$P$$\textbf{x}$

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

अहा! परिणाम शून्य वेक्टर होना चाहिए। यदि हम अब खुला समीकरण प्राप्त करते हैं:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

थोड़ा सा रिफैक्टरिंग के साथ हम मैट्रिक्स के बाहर प्रोजेक्शन मैट्रिक्स प्राप्त कर सकते हैं :$P$

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

जहाँ कैमरा मैट्रिक्स की : th पंक्ति का स्थानान्तरण है । पिछली (बड़ी) मैट्रिक्स समीकरण की अंतिम पंक्ति पहली दो पंक्तियों का रैखिक संयोजन है, इसलिए यह कोई अतिरिक्त जानकारी नहीं लाती है और इसे छोड़ा जा सकता है।$\textbf{P}_n$$n$$P$

छोटे ठहराव ताकि हम अपनी मुश्किलों को इकट्ठा कर सकें। ध्यान दें कि पिछले मैट्रिक्स समीकरण का गठन प्रत्येक ज्ञात 3D-> 2D पत्राचार के लिए किया जाना चाहिए (उनमें से कम से कम 6 होना चाहिए)।

अब, प्रत्येक बिंदु पत्राचार के लिए, ऊपर दी गई मैट्रिक्स की पहली दो पंक्तियों की गणना करें, एक दूसरे के शीर्ष पर मैट्रिसेस को स्टैक करें और आपको नया मैट्रिक्स मिलता है जिसके लिए$2\times12$$A$

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

जैसा कि हमारे पास 12 अज्ञात हैं और (कम से कम) 12 समीकरणों को हल किया जा सकता है। केवल समस्या यह है कि हम उस तुच्छ उत्तर को नहीं चाहते हैं जहाँ

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

सौभाग्य से हम बल के लिए एकवचन मूल्य अपघटन (SVD) का उपयोग कर सकते हैं

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

इसलिए समीकरणों को हल करने के लिए, मैट्रिक्स एसवीडी की गणना करें और सबसे छोटे आइजन मूल्य के अनुरूप एकवचन वेक्टर चुनें। यह वेक्टर मैट्रिक्स A का शून्य वेक्टर है और कैमरा मैट्रिक्स लिए भी समाधान है । बस और फॉर्म ।$A$$P$$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$$P$

अब आप वस्तु से दूरी जानना चाहते थे। को इस प्रकार परिभाषित किया गया है:$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

जहाँ वस्तुओं की उत्पत्ति के सापेक्ष कैमरा स्थान है। यह से हल किया जा सकता की गणना के द्वारा एस अशक्त वेक्टर।$\textbf{C}$$P$$P$

(हार्टले, ज़िसरमैन - कंप्यूटर विज़न में मल्टीपल व्यू ज्यामिति)

अंत में, जब आप दो फ़्रेमों के लिए कैमरे के स्थान की गणना करते हैं, तो आप लिए दो समीकरणों को हल करके अज्ञात ऑब्जेक्ट स्थानों (या ऑब्जेक्ट के कुछ बिंदुओं के स्थानों) की गणना कर सकते हैं :$X$

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

जो बहुत हद तक उसी तरह से जाता है जैसे हमने कैमरा को कैसे हल किया:

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

और इसी तरह।

Comments

क्या यह कहना सही है कि कैमरे की 3D स्थिति की गणना करने का आपका तरीका OpenCV सॉल्यूशन के बराबर है? docs.opencv.org/2.4/modules/calib3d/doc/… (पेज में solutionPnP के लिए खोज। मैं एक URL को # के साथ पेस्ट नहीं कर सकता)

— gregoiregentil