CSI छवि रिज़ॉल्यूशन बढ़ाने: यह कितना वास्तविक है?


30

इसलिए मैंने CSI न्यूयॉर्क से निम्नलिखित 1 मिनट लंबी Youtube क्लिप देखी । क्लिप में, एक मानक बैंक कैमरे से रिकॉर्डिंग क्या प्रतीत होती है, इसका उपयोग करते हुए, वे कम से कम 100 में ज़ूम करते हैं, और लड़की की आंख के प्रतिबिंब में अपराधी की छवि देखते हैं।

अब, मैंने सोचा कि यह पूरी तरह से हास्यास्पद था, इतना कि मैंने सोचा कि यह वास्तव में वास्तव में मजाकिया था।

हालाँकि, मेरे मित्र ने तर्क दिया कि छवि सुधारने के लिए बहुत अच्छी तरकीबें हैं, जैसे कि "सुपर रिज़ॉल्यूशन" एक ऐसी प्रक्रिया है जहाँ एक वीडियो के कई फ्रेम एक बहुत अधिक एकल रिज़ॉल्यूशन छवि का उत्पादन करते हैं। उन्होंने सोचा था कि यह शो सच्चाई को काफी मोड़ देता है, लेकिन कितना?

ईमानदारी से, मैं वास्तव में इन चीजों के बारे में कुछ नहीं जानता, इसलिए मेरा सवाल यह है:

आधुनिक छवि संकल्प वृद्धि कितनी अच्छी है? इसके अलावा, सीएसआई टेलीविजन कार्यक्रम कितनी दूर हैं?

धन्यवाद,

टिप्पणी: यह स्केप्टिक्स साइट पर पोस्ट किया गया है। मुझे बताया गया कि मुझे यहाँ बेहतर उत्तर मिल सकते हैं।


10
मैंने अपनी कॉफी लगभग उगल दी जब उसने इतनी गंभीरता से सिर हिलाया और कहा "कॉर्नेल इमेजिंग"। उस दृश्य का पूरा स्वर बहुत ही हास्यास्पद है - अगर इस स्तर पर यह संभव था, तो यह नियमित और स्पष्ट होगा, न कि एक अद्भुत चतुर साजिश मोड़ जैसा कि उस क्लिप में प्रस्तुत किया गया प्रतीत होता है।
13

2
LOL, एक्शन फ्लिक्स में ज़ूम-इन की मांग पर उपग्रह इमेजरी जितना वास्तविक है।
जैकब सिसाक जियोग्राफिक्स

1
@ याकूब फिल्मों में की गई डिग्री के लिए नहीं, जहां वे अंतरिक्ष से एकल फिल्म फ्रेम में विशिष्ट व्यक्तियों की पहचान कर सकते हैं (या 10 किमी उड़ान भरने वाले विमान से)। एक ड्रोन से, कुछ भाग्य के साथ, अभी भी एक फ्रेम का उपयोग करते हुए, कुछ सौ फीट ऊंची उड़ान।
jwenting

1
मुझे लगता है कि आप आश्चर्यचकित होंगे। ऐसा नहीं है कि मैं एक विशेषज्ञ हूं, लेकिन माना जाता है कि एसआर -71 25 किमी से पार्किंग स्थल बना सकता है। दी गई है कि आप शायद एक चेहरा नहीं पा सकते हैं, लेकिन आप उनकी पहचान / इंटेक / वाहन en.wikipedia.org/wiki/Reconnaissance_aircraft
जेन पांडा

1
6 "एक कानूनी पैड के आकार के बारे में एक फिल्म फ्रेम से रिज़ॉल्यूशन, हाँ, 0.01 नहीं" एक फ्रेम से डाक टिकट के आकार का रिज़ॉल्यूशन :)
jwenting

जवाबों:


36

संक्षिप्त उत्तर: आप कुछ बहुत अच्छे परिणाम प्राप्त कर सकते हैं, लेकिन केवल कुछ शर्तों के तहत और लिंक किए गए वीडियो क्लिप में दिखाए गए अनुसार बिल्कुल भी नहीं।

मेरी कंपनी, Amped Software , फोरेंसिक और खुफिया अनुप्रयोगों के लिए छवि और वीडियो प्रसंस्करण सॉफ्टवेयर विकसित करती है, इसलिए मूल रूप से हम CSI सॉफ़्टवेयर के वास्तविक विश्व समकक्ष हैं।

गुणवत्ता वृद्धि की सामान्य समस्या के संदर्भ में, मैं आपको बता सकता हूं कि हमारे बाजार के लिए टीवी श्रृंखला और हॉलीवुड फिल्मों द्वारा बनाई गई अपेक्षाओं पर खरा उतरना एक बड़ी समस्या है। आप हमारे नमूने पृष्ठ पर देख सकते हैं कि कभी-कभी हम जो परिणाम प्राप्त करने में सक्षम होते हैं वह वास्तव में आश्चर्यजनक है, लेकिन यह समझना महत्वपूर्ण है कि हम उन्हें केवल कुछ शर्तों के तहत प्राप्त कर सकते हैं: यदि ऐसी जानकारी है जो गड़बड़ी से आच्छादित है, लेकिन यह वहां है , हम इसे पुनर्प्राप्त करने में सक्षम हैं। अगर कोई जानकारी नहीं है, तो हम नहीं कर सकते हैं और हमें इसे दोबारा नहीं बनाना चाहिए । इस विशेष आवेदन में न केवल एक दृश्य बिंदु से परिणाम प्राप्त करना आवश्यक है, बल्कि एक वैज्ञानिक वर्कफ़्लो का भी पालन ​​करना चाहिए जिसे अदालत द्वारा स्वीकार किया जाना चाहिए

पिछले साल मैंने लगभग 200 मामलों पर एक शोध प्रस्तुत किया था, जिन पर मैंने काम किया है और अंतिम परिणाम निम्नलिखित थे:

  • 50% से अधिक मामलों में कुछ भी करने के लिए नहीं है (उदाहरण के लिए एक लाइसेंस प्लेट को पुनर्प्राप्त करना जो 5x2 पिक्सेल है, दुनिया के किसी भी सॉफ़्टवेयर के साथ पूरी तरह से असंभव है);
  • लगभग 30% मामलों में हम कुछ कम परिणाम प्राप्त कर सकते हैं (उदाहरण के लिए लाइसेंस प्लेट के कुछ अक्षर को बहाल करना या चेहरे के समग्र स्वरूप में सुधार करना);
  • 10% मामलों में आपको अच्छे परिणाम मिलते हैं (उदाहरण के लिए, आपको अधिकांश लाइसेंस प्लेट मिलती है)।

कृपया ध्यान दें कि इन सभी मामलों में गंभीर गुणवत्ता के मुद्दे थे। यदि उनकी गुणवत्ता अच्छी थी, तो हमें उन पर काम करने के लिए नहीं कहा गया था।

विशेष रूप से संकल्प वृद्धि के संबंध में :

  • जब आप एक छवि पर ज़ूम करते हैं, तो आप लापता पिक्सेल को इंटरपोल कर रहे हैं: एक एकल छवि से आप नेत्रहीन रूप से छवि की उपस्थिति में सुधार कर सकते हैं, लेकिन आप कोई वास्तविक विवरण नहीं जोड़ेंगे ;
  • सुपर रिज़ॉल्यूशन तकनीकों में कुछ शर्तों के तहत अच्छे परिणाम मिल सकते हैं: आपके पास पर्याप्त फ़्रेम होना चाहिए, पिक्सेल की गैर पूर्णांक राशि द्वारा स्थानांतरित किया जाना चाहिए और अधिमानतः कुछ संपीड़न कलाकृतियों के साथ। सबसे अच्छे मामले में आप 2x और 3x ज़ूम के भीतर अच्छे परिणाम की उम्मीद कर सकते हैं।

वीडियो क्लिप में जो दिखाया गया है वह तभी संभव हो सकता है जब मूल वीडियो को कई मेगापिक्सल पर शूट किया गया हो और फिर आपके पास बहुत करीब से (जैसे गूगल मैप्स पर कम या ज्यादा) ज़ूम करने का संकल्प होगा। बेशक, उस बिंदु पर अभी भी अन्य समस्याएं होंगी, जैसे कि सही फोकस, कम रोशनी की स्थिति, तथ्य यह है कि आंख का परिप्रेक्ष्य वीडियो में पूरे विषय से अलग है, बस कुछ का उल्लेख करने के लिए।


11

आप कुछ भी नहीं कर सकते हैं, आपको किसी भी तरह से एक छवि को बढ़ाने में सक्षम होने के लिए कुछ जानकारी (या अनुमान) करनी होगी। उदाहरण के लिए यदि आप ब्लरिंग फ़ंक्शन के गुणों को जानते हैं (और कोई छवि शोर नहीं है) तो आप वास्तव में एक फोटो को खोल सकते हैं। हालाँकि आप शायद ही जानते हों कि ब्लर फ़ंक्शन और शोर हमेशा मौजूद होता है, ताकि आप जो कुछ भी ठीक कर सकते हैं, वह गंभीर रूप से सीमित हो जाए (एडोब ने हाल ही में एक अनलव फिल्टर को प्रदर्शित किया था लेकिन उनका डेमो सिंथेटिक ब्लर के साथ था)।

संक्षेप में, सीएसआई लगभग शुद्ध कल्पना है - वास्तविक जीवन में जो लाभ संभव हैं, वे मामूली हैं, टीवी पर पेश किए गए संकल्प में 5x वृद्धि जैसी कुछ भी नहीं है।

Sanity check: यदि वे ऐसा कर सकते हैं, तो लोग 40 + MP Hasselblad कैमरों के लिए दसियों हज़ार का भुगतान नहीं करेंगे, यह केवल सॉफ्टवेयर की नकल करने के लिए सस्ता होगा!

संपादित करें: मैंने किसी तरह वीडियो से सुपर-रिज़ॉल्यूशन के मूल प्रश्न का उल्लेख नहीं किया। मल्टीपल इमेज सुपर-रिज़ॉल्यूशन वास्तविकता में संभव है लेकिन केवल सेंसर की सीमाओं तक। यह उप पिक्सेल पाली के साथ छवियों के एक सेट का उपयोग करके काम करता है। यह पिक्सेल के बीच के मूल्यों की जानकारी देता है जिससे आप एक उच्च रिज़ॉल्यूशन छवि बना सकते हैं। वीडियो से सुपर-रिज़ॉल्यूशन काम करता है क्योंकि एक चलता हुआ विषय एक ही तरह की शिफ्ट बनाता है, हालांकि ऑब्जेक्ट्स की उपस्थिति को फ़्रेम के बीच इतना बदलना नहीं चाहिए। सर्वश्रेष्ठ तकनीक केवल आपको उच्च रिज़ॉल्यूशन सेंसर के परिणाम दे रही है, आप लेंस की शक्ति को हल करने की सीमा को पार नहीं कर सकते हैं, जो सीसीटीवी चश्मा के साथ काफी सीमित होगा।

यहाँ अच्छी परिस्थितियों में सुपरसेलिंग का एक उदाहरण दिया गया है:


(स्रोत: wikimedia.org )

photoacute.com से छवि

संकल्प में सुधार, हां, लेकिन अभी भी सीएसआई स्तर के प्रदर्शन के पास नहीं है।

ऊपर मेरी टिप्पणी का संदर्भ देने के लिए, नवीनतम हासेलब्लैड वास्तव में "मल्टी-शॉट कैप्चर" नाम के तहत सेंसर शिफ्ट सुपर-रिज़ॉल्यूशन को लागू करते हैं, इसलिए आप अभी भी अपने स्वयं के गेम में मध्यम प्रारूप निर्माताओं को चतुर सॉफ़्टवेयर का उपयोग करके हरा नहीं सकते हैं ...


लगता है आपके पास कुछ टूटे हुए वाक्य हैं: "... लेंस संकल्प शक्ति, जो होगा ??" और "?? संकल्प में सुधार, हाँ, ..."
jrista

@ जिरस्टा धन्यवाद, मैंने पहले वाला तय कर लिया है, दूसरे को छवि के ऊपर वाक्य की निरंतरता माना जाता है।
मैट ग्रम

3

तो यह वही है जो मैंने अभी तक किया है:

बास्केटबॉल को देखने वाली आंख का क्षेत्र लगभग 1 वर्ग मिलीमीटर है। लड़की की ऊंचाई के आधार पर, हम आत्मविश्वास से अनुमान लगा सकते हैं कि स्क्रीन पर कुल पिक्सेल की संख्या 1 मिलियन से अधिक होनी चाहिए। (छवि की चौड़ाई और ऊंचाई, जबकि अच्छी तरह से तस्वीरों के लिए परिभाषित नहीं किया गया है क्योंकि कुछ चीज़ करीब हो सकती है, लगभग 3 x 3 मीटर दिखती है, जिसका मतलब होगा 10 मिलियन वर्ग मिलीमीटर। आंख हालांकि वास्तविक कैमरा लेंस के करीब हो सकती है। मैं लगभग $ 10 $ का अनुमान लगा रहा हूं और विभाजित कर रहा हूं।)

यदि रिकॉर्डिंग एचडी गुणवत्ता की थी, तो यह अभी भी केवल 2 मेगापिक्सेल होगी, इसलिए जहां हम देखते हैं कि बास्केटबॉल एकल पिक्सेल का आकार होना चाहिए।

मुझे लगता है कि निस्संदेह तर्क देना यह सच नहीं है, लेकिन मुझे अभी भी आश्चर्य हो रहा है, छवि वृद्धि पर ऊपरी सीमाएं क्या हैं?


1
मेरा अनुमान है कि 50% से अधिक पिक्सल का आविष्कार करने से कुल फंतासी पैदा होगी, और इससे पहले कि आपकी छवि इतनी खराब हो जाएगी कि सामान्य आकार को छोड़कर विशिष्ट लोगों या वस्तुओं की पहचान करने के लिए बेकार हो।
jwenting

2

सुपर रेजोल्यूशन के साथ व्यावसायिक रूप से उपलब्ध कुछ सॉफ्टवेयर है। मैंने इनमें से किसी को भी आज़माया नहीं है, लेकिन विज्ञापन सामग्री बहुत अच्छी है। सॉफ्टवेयर को निगरानी, ​​सुरक्षा और सशस्त्र बलों के लिए तैयार किया गया है, लेकिन मुझे लगता है कि कुछ फोरेंसिक इकाइयों को इस सामान तक पहुंच प्राप्त होगी।

दो उदाहरण हैं: Ikena MotionDSP और से TacitView 2d3 से


3
यह ध्यान दिया जाना चाहिए कि सुपरसेलिंग को एल्गोरिथ्म को खिलाने के लिए कई स्रोत चित्रों की आवश्यकता होती है, अन्यथा इससे अधिक डेटा। यह वीडियो के साथ काम करता है, क्योंकि आपके लगातार फ्रेम के एक निरंतर अनुक्रम को कैप्चर करता है, जहां प्रत्येक बाद का फ्रेम आमतौर पर पूर्व के समान होता है। इसके अतिरिक्त, अधिक स्रोत रिज़ॉल्यूशन, एल्गोरिथ्म के लिए अधिक भोजन पर चबाना। इस तरह की छवि वृद्धि वास्तव में एकल स्थिर छवि के साथ संभव नहीं होगी, या कम फ्रैमर्ट, कम रिज़ॉल्यूशन वाले कैमरे जैसे कि यूट्यूब वीडियो से संकेत मिलता है।
jrista

यह सच है, और उत्तर फॉर्म @ मैट-ग्रम इसे थोड़ा और विस्तार से बताता है। सुपर रेसोल्यूटिनो और स्पेकल इमेजिंग (जिसे वीडियो एस्ट्रोनॉमी भी कहा जाता है) के बारे में विकिपीडिया पर अच्छी जानकारी है । दोनों चित्रों की श्रृंखला पर काम करते हैं, लेकिन तैयार उत्पाद बनाने के लिए विभिन्न तकनीकों का उपयोग करते हैं।
हाकोन के। ओलाफसेन

दिलचस्प है, पहले स्पीकेल इमेजिंग शब्द के बारे में नहीं सुना था, हालांकि मैंने "स्टैकिंग" के बारे में सुना है, क्योंकि इसे आमतौर पर एस्ट्रोफोटो समूहों में संदर्भित किया जाता है।
jrista

1

टीवी शो में सुझाए गए स्तर तक बढ़ाने वाली छवि / वीडियो बस संभव नहीं है, और वास्तव में छवि कैप्चरिंग डिवाइस द्वारा सीमित है। वह तकनीक है जिसे पहले विकसित करने की आवश्यकता होगी।

पहचानने योग्य वस्तु में 10 पिक्सल के संग्रह से जानकारी हासिल करना असंभव है। पिक्सेल स्तर पर, यह छवि में दी गई अंतिम जानकारी है। आपके पास उस परिमित ज़ूम में रंग के केवल 100 ब्लॉक हैं। आप एक 10x10 पिक्सेल क्षेत्र को प्रक्षेप के माध्यम से 100x100 पिक्सेल में बढ़ा सकते हैं, लेकिन 10x10 पिक्सेल की जानकारी सभी को है, और सॉफ्टवेयर द्वारा उन 10 x 10 पिक्सेल के आधार पर शिक्षित अनुमानों पर निर्भर करता है। परिणाम 100 x 100 पिक्सेल धब्बा होगा। वैकल्पिक रूप से, एक 2000x2000 पिक्सेल की छवि लें, और इसे 4000x4000 पिक्सल तक इंटरपोल करें, और मूल छवि में स्पष्ट रूप से स्पष्ट नहीं होने वाली कुछ धुंधलाएं प्यारेडोलिया के माध्यम से शुद्ध रूप से बड़ी छवि में संभव वस्तुओं के रूप में स्पष्ट दिख सकती हैं - लेकिन फिर भी यह अनुमान या दम है। प्रक्षेपित छवि अधिक विस्तार की "भ्रम" देगी,

इमेज एन्हांसमेंट पूरी तरह से मूल इमेजिंग स्रोत के माध्यम से कैप्चर की गई जानकारी की अधिकतम मात्रा पर निर्भर करता है, और पिक्सल में जूमिंग है। कुछ कैमरे बहुत अच्छे रिज़ॉल्यूशन के चित्र ले सकते हैं, लेकिन कोई भी सॉफ्टवेयर ऐसा विवरण नहीं ला सकता है जो मूल छवि में दर्ज न हो।

अब, सीएसआई शो में वापस जाने के लिए, उनमें से अधिकांश आपके मानक निगरानी कैमरे के फुटेज को पकड़ लेते हैं, जो कि वास्तविक जीवन में वैसे भी रिज़ॉल्यूशन में विशेष रूप से उच्च नहीं है, इसलिए जब मैं शो पर इस तरह की वृद्धि देखता हूं तो यह मुझे हंसी देता है - जैसा कि छवि संपादन सॉफ्टवेयर के सबसे उन्नत रूप के साथ भी असंभव है (और फोटोशॉप अच्छी तरह से और उन्नत संस्करण के ऊपरी छोर पर है)। इमेज एन्हांसमेंट और जूमिंग इमेजिंग डिवाइस द्वारा कैप्चर की गई जानकारी पर 100% निर्भर करता है - इसलिए निगरानी करने में सक्षम एक निगरानी कैमरा किसी व्यक्ति की आंख के कॉर्निया की तरफ एक व्यक्ति के चेहरे का प्रतिबिंब कहता है, उसे सुपर शक्तिशाली होने की आवश्यकता होगी, और यह बहुत महंगा होगा । फुटेज को प्रति फ्रेम एक अपमानजनक उच्च पिक्सेल परिभाषा (100 मेगापिक्सेल या लगभग 9.5 टेराबाइट्स को 1 सेकंड के फुटेज को स्टोर करने के लिए कहना होगा), की आवश्यकता होगी जो फुटेज के फ़ाइल आकार को इस बिंदु पर उड़ा देगा कि प्रत्येक निगरानी कैमरे को 24 घंटे के फुटेज के लायक एक छोटे सर्वर फ़ार्म की आवश्यकता होगी। बहुत महंगा। परिणामस्वरूप एन्हांसमेंट तकनीक छवि कैप्चर करने वाले उपकरणों पर निर्भर करेगी जो इस स्तर के विस्तृत वीडियो और इमेज कैप्चरिंग को करने में सक्षम हैं, डेटा को सुविधाजनक तरीके से स्टोर करने के लिए, और एक बिंदु पर कि यह शहरों में रोल आउट करने के लिए सस्ती है। वीडियो फुटेज पर फ़ाइल का आकार इतना बड़ा होगा कि (लगभग 9.5 टेराबाइट्स प्रति सेकंड याद रखें) कि ऐसा करने में सक्षम सॉफ्टवेयर को चलाने के लिए एक अत्यंत शक्तिशाली सुपर कंप्यूटर (आज के मानकों से) की आवश्यकता होगी। प्रौद्योगिकी जिस गति से बढ़ रही है, उससे भविष्य में किसी बिंदु पर यह संभव हो सकता है, शायद हमारे जीवनकाल में। तभी वे ऐसा कर सकते थे, लेकिन छवियों को बढ़ाया नहीं जाएगा, वे केवल सुपर विस्तृत इमेजरी पर ज़ूमिंग करेंगे। मैं यह जानता हूं क्योंकि मैं एक पूरे समय के लिए डिजिटल इमेजरी में काम करता हूं।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.