1980 ने समानांतर गणना के PRAM और BSP मॉडल दोनों को जन्म दिया । ऐसा लगता है कि 80 के दशक के अंत और 90 के दशक के प्रारंभ में दोनों मॉडल का उत्तराधिकार था।
क्या ये क्षेत्र समानांतर एल्गोरिदम के लिए अनुसंधान के संदर्भ में अभी भी सक्रिय हैं? क्या समानांतर गणना के लिए नए और अधिक परिष्कृत मॉडल हैं? क्या सामान्य मॉडल अभी भी प्रचलन में हैं, या क्या शोधकर्ता फैशन में आने वाले जीपीजीपीयू या क्लाउड आधारित कम्प्यूटेशन के विशेषज्ञ हैं?
जवाबों:
चारों ओर कई मॉडल तैर रहे हैं, लेकिन कुछ सबसे प्रमुख हैं:
इस विषय पर DIMACS में पिछले महीने एक कार्यशाला हुई थी : एब्सट्रैक्ट्स का उपयोग करने से आपको अधिक संकेत मिलेंगे।
मैं अपने उत्तर के ब्लॉग-पोस्ट प्रारूप के लिए पहले से माफी माँगता हूँ। मैं खुद को समानांतर कंप्यूटिंग की दुनिया का एक छोटा सा अवलोकन करने में मदद नहीं कर सका।
आप समानांतर प्रोग्रामिंग मॉडल को लगभग दो श्रेणियों में वर्गीकृत कर सकते हैं: नियंत्रण-प्रवाह और डेटा-प्रवाह मॉडल।
नियंत्रण प्रवाह मॉडल , हर प्रोग्राम योग्य कंप्यूटर मूल रूप से आज एक स्पष्ट नियंत्रण कार्यक्रम के संदर्भ में समानांतरवाद काम करने के लिए प्रयास करें। मूलभूत समस्या से निबटा जा रहा है कि इस तरह के 'वॉन न्यूमैन आर्किटेक्चर' को समानांतर निष्पादन के लिए डिज़ाइन नहीं किया गया था, बल्कि कुशल अनुक्रमिक संगणना थी। इस तरह के संदर्भ में समानता मूल मॉड्यूल (स्मृति, नियंत्रण, अंकगणित) के कुछ हिस्सों की नकल करके प्राप्त की जाती है।
केवल अंकगणित दोहराए जाने से आपको SIMD के निर्देश मिलते हैं, सभी ALU एक ही प्रोग्राम काउंटर (PC) को साझा करते हैं और इस प्रकार हमेशा समान संचालन को अलग-अलग डेटा पर निष्पादित करते हैं।
ALU और PC को डुप्लिकेट करना लेकिन कंट्रोल यूनिट के अंदर इंस्ट्रक्शन सीक्वेंसर को रखना आपको आउट ऑफ ऑर्डर (OOO) एक्ज़ीक्यूटेशन देता है जो कुछ पाइपलाइन-समानता को जन्म देता है। इस श्रेणी में आपके पास वेरी लॉन्ग इंस्ट्रक्शन वर्ड (वीएलडब्ल्यूआई) और ब्रांच-प्रीडिक्शन तकनीक भी हैं। आप इस श्रेणी को शायद ही किसी सॉफ्टवेयर स्तर पर देखते हैं।
थोड़ा आगे जाकर पूरे 'कोर' को डुप्लिकेट किया जा रहा है लेकिन मेमोरी को साझा रखते हुए, ये वर्तमान मल्टीकोर प्रोसेसर हैं जो आपको कार्य (या थ्रेड) समानता देते हैं। इस संदर्भ में स्मृति साझा करना आपको बहुत, बहुत कठिन और सूक्ष्म समसामयिक मुद्दे देता है । वर्तमान मल्टीकोर पर समानांतर गणना इस प्रकार पूरी तरह से तुल्यकालन / संगामिति समस्याओं, प्रदर्शन के सावधानीपूर्वक संतुलन (सिंक नहीं) और वांछित शब्दार्थ (पूरी तरह से सिंक्रनाइज़, अनुक्रमिक निष्पादन शब्दार्थ) के आसपास घूम रही है। इसके उदाहरण हैं PRAM या अधिक लोकप्रिय इन दिनों Csh ofshoots जैसे कि fork / join ( IntelTBB , Java.Utils.Concurrency)। सीएसपी और एक्टर मॉडल कंसीडर मॉडल हैं, लेकिन जैसा कि ऊपर उल्लेख किया गया है कि कॉम्पेक्ट और समानता एक साझा-मेमोरी वातावरण में धुंधले हो जाते हैं। nb समानतावाद प्रदर्शन के लिए है, सही शब्दार्थ को बनाए रखने के लिए संगामिति।
डुप्लिकेटिंग मेमोरी आपको या तो नेटवर्क वाले कंप्यूटर देती है जो MPI और उसके ilk के साथ प्रोग्राम करती है या सिर्फ अजीब गैर-वॉन न्यूमैन आर्किटेक्चर जैसे कि नेटवर्क-ऑन-ए-चिप प्रोसेसर (क्लाउड प्रोसेसर, ट्रांसप्यूटर, तिलेरा)। UMA या NUMA जैसे मेमोरी मॉडल साझा मेमोरी के भ्रम को बनाए रखने की कोशिश करते हैं और सॉफ़्टवेयर या हार्डवेयर स्तर पर मौजूद हो सकते हैं। MPI कार्यक्रम-स्तरीय समानता को बनाए रखता है और केवल संदेश के माध्यम से संचार करता है। संदेश पासिंग का उपयोग कम्युनिकेशन और कंसीडर (ट्रांसप्यूटर) के लिए एक हार्डवेयर स्तर पर भी किया जाता है।
दूसरी श्रेणी डेटा-प्रवाह मॉडल हैं । ये कंप्यूटर युग की भोर में डिज़ाइन किए गए थे और वॉन नेज़ान डिज़ाइन से बचने के लिए समानांतर संगणनाओं को लिखने और निष्पादित करने के तरीके के रूप में। क्रमिक प्रदर्शन में तेजी के बाद 80 के दशक में ये प्रचलन से बाहर हो गए हैं (समानांतर कंप्यूटिंग के लिए)। हालाँकि, कई समानांतर प्रोग्रामिंग सिस्टम जैसे Google MapReduce, Microsoft का Dryad या Intel का समवर्ती संग्रह वास्तव में डेटाफ़्लो कम्प्यूटेशनल मॉडल हैं। कुछ बिंदु पर वे एक ग्राफ के रूप में संगणना का प्रतिनिधित्व करते हैं और निष्पादन को निर्देशित करने के लिए इसका उपयोग करते हैं।
मॉडल के कुछ हिस्सों को निर्दिष्ट करके आपको डेटाफ़्लो मॉडल के लिए विभिन्न श्रेणियां और शब्दार्थ प्राप्त होते हैं। आप ग्राफ़ के आकार को क्या प्रतिबंधित करते हैं: DAG (CnC, ड्रायड), ट्री (मैप्रेड्यूस), डिग्राफ? क्या सख्त तुल्यकालन शब्दार्थ हैं ( चमक), प्रतिक्रियाशील प्रोग्रामिंग]? क्या आप एक स्थिर शेड्यूल (StreaMIT) करने में सक्षम होने के लिए पुनरावृत्ति को अस्वीकार करते हैं या आप एक गतिशील अनुसूचक (Intel CnC) होने से अधिक अभिव्यंजक शक्ति प्रदान करते हैं? क्या आवक या आउटगोइंग किनारों की संख्या की सीमा है? क्या आने वाले डेटा का एक सबसेट उपलब्ध होने पर फायरिंग शब्दार्थ नोड को फायरिंग की अनुमति देता है? क्या डेटा (स्ट्रीम प्रोसेसिंग) या एकल डेटा टोकन (स्टैटिक / डायनेमिक सिंगल असाइनमेंट) की धार धाराएँ हैं। संबंधित कार्य के लिए आप अरविंद, के। कवि, जे जैसे लोगों के डेटाफ्लो अनुसंधान कार्य को देखकर शुरू कर सकते हैं। तेज, डब्ल्यू। एकरमैन, आर। जगन्नाथन, आदि।
संपादित करें: पूर्णता के लिए। मुझे संकेत देना चाहिए कि समानांतर कटौती-चालित और पैटर्न-चालित मॉडल भी हैं। कमी की रणनीतियों के लिए आपके पास मोटे तौर पर ग्राफ-कमी और स्ट्रिंग-कमी है। हास्केल मूल रूप से ग्राफ़-रिडक्शन का उपयोग करता है, जो क्रमिक साझा-मेमोरी सिस्टम पर एक बहुत ही कुशल रणनीति है। स्ट्रिंग-रिडक्शन डुप्लिकेट काम करता है, लेकिन इसमें एक निजी-मेमोरी गुण होता है जो इसे बेहतर रूप से समानांतर रूप से समानांतर होने के लिए अनुकूल बनाता है। पैटर्न-संचालित मॉडल समानांतर तर्क भाषाएं हैं, जैसे समवर्ती प्रोलॉग। अभिनेता मॉडल एक पैटर्न-संचालित मॉडल भी है, लेकिन निजी मेमोरी विशेषताओं के साथ।
पुनश्च। मैं 'मॉडल' शब्द का व्यापक रूप से उपयोग करता हूं, दोनों औपचारिक और प्रोग्रामिंग उद्देश्यों के लिए अमूर्त मशीनों को कवर करता हूं।
संदेश-गुजरने वाले आर्किटेक्चर के लिए, एक मॉडल जो कि बीएसपी के समान है, लेकिन वास्तव में एक वास्तविक मशीन पर जो मिलता है, उसके साथ प्रदर्शन विश्लेषण के साथ सौदा करना आसान है, निश्चित रूप से सीजीएम या मोटे अनाज वाला मल्टीकोम्प्यूटर है। यह फ्रैंक डेहने द्वारा प्रस्तावित किया गया था, और आपको इस संदर्भ में विकसित एल्गोरिदम पेश करने वाले कई दिलचस्प पेपर मिलेंगे।
सीजीएम मोटे प्रोसेसर को पी प्रोसेसर मानते हैं, हर एक ओ (एन / पी) स्थानीय मेमोरी और इनपुट का आकार n से बड़ा (परिमाण के आदेश) पी, यानी p≪n से फिट बैठता है। इसलिए, मॉडल वर्तमान आर्किटेक्चर पर दूसरों की तुलना में बहुत बेहतर मैप करता है; इसका बड़े पैमाने पर अध्ययन किया गया है। मॉडल निम्नलिखित मान्यताओं पर आधारित है: (i) एल्गोरिदम तथाकथित सुपरस्टेप्स को निष्पादित करता है, जिसमें स्थानीय संगणना के एक चरण और मध्यवर्ती अवरोध तुल्यकालन के साथ इंटरप्रोसेसर संचार का एक चरण होता है, (ii) सभी पी प्रोसेसर तक पहुंच होती है O (n / p) स्थानीय मेमोरी, (iii) प्रत्येक सुपरस्टेप में, एक प्रोसेसर अधिकतम O (n / p) तत्वों पर भेज और प्राप्त कर सकता है और (iv) प्रोसेसर के बीच संचार नेटवर्क मनमाना हो सकता है। इस मॉडल में, एक एल्गोरिथ्म का मूल्यांकन उसके कम्प्यूटेशन समय और संचार दौर की संख्या के लिए किया जाता है। हालांकि मॉडल सरल है, फिर भी यह समानांतर एल्गोरिदम के वास्तविक प्रदर्शन की एक उचित भविष्यवाणी प्रदान करता है; वास्तव में, सीजीएम के लिए समानांतर एल्गोरिदम में आमतौर पर सैद्धांतिक जटिलता विश्लेषण होता है जो लागू होने और उन्हें बेंचमार्क करते समय प्रयोगात्मक रूप से निर्धारित वास्तविक समय के बहुत करीब होता है।
पैरेलल एक्सटर्नल मेमोरी (PEM) बाहरी मेमोरी मॉडल के साथ PRAM- शैली साझा मेमोरी मशीन का एक प्राकृतिक संयोजन है। यह निजी कैश के निहितार्थ पर केंद्रित है।
मुझे क्या पता है, बीएसपी और लॉगप मॉडल आज वितरित एल्गोरिदम के लिए उपयोग किए जाते हैं। इसके अलावा, GPU कंप्यूटिंग के बाद से, PRAM फिर से लोकप्रिय हो गया है, हालांकि विश्लेषण में मेमोरी पदानुक्रम को शामिल करना चाहिए। आप UPMH मॉडल (यूनिफ़ॉर्म पैरेलल मेमोरी पदानुक्रम) की जाँच कर सकते हैं, जो PRAM को अच्छी तरह से पूरक करता है।
बी। एल्परन, एल। कार्टर, ई। फेग और टी। सेल्कर। गणना की समान स्मृति पदानुक्रम मॉडल। एल्गोरिथमिका, 12: 72–109, 1994. 10.1007 / BF01185206।
बोवेन अल्पर्न, लैरी कार्टर, और जीन फेरेन्ते। समानांतर कंप्यूटरों को मेमोरी पदानुक्रम के रूप में मॉडलिंग करना। प्रोक में। बड़े पैमाने पर समानांतर कंप्यूटर के लिए प्रोग्रामिंग मॉडल, पृष्ठ 116- 123। IEEE कंप्यूटर सोसायटी प्रेस, 1993।
जीपीयू कंप्यूटिंग के लिए भी, एक सैद्धांतिक कंप्यूटिंग मॉडल का प्रस्ताव आया है; K- मॉडल:
गेब्रियल कैपानेनी, फैब्रीज़ियो सिल्वेस्ट्री, और रानिएरी बैराग्लिया। K- मॉडल: स्ट्रीम प्रोसेसर के लिए एक नया कम्प्यूटेशनल मॉडल। उच्च प्रदर्शन कम्प्यूटिंग और संचार पर 2010 IEEE 12 वें अंतर्राष्ट्रीय सम्मेलन की कार्यवाही में, HPCC '10, पृष्ठ 239–246, वाशिंग- टन, डीसी, यूएसए, 2010। IEEE कंप्यूटर सोसायटी।
अन्त में, मैंने सेल्युलर ऑटोमेटा (CA) को समानांतर कंप्यूटर के रूप में देखा है, व्यक्तिगत रूप से मुझे लगता है कि यह एक बहुत ही रोचक शोध विषय है। भविष्य के प्रोसेसर में कौन जानता है कि इस तरह से बनाया जाएगा, जैसे कि गणना के कम स्थान। मेरे पास इसके लिए कोई ठोस संदर्भ नहीं है, आप वेब में देख सकते हैं।
विशुद्ध रूप से कार्यात्मक कार्यक्रम स्वतंत्र अभिव्यक्ति के समानांतर निष्पादन की अनुमति देते हैं। इसलिए, मैं उन्हें गणना के समानांतर मॉडल के रूप में गिना जाएगा।
मैं बैडर-जजा दृष्टिकोण (धारा 2.1 देखें) को पसंद करता हूं । आप संदेश पासिंग समस्या के रूप में जटिलता का मॉडल बनाते हैं। भेजे गए प्रत्येक संदेश के लिए संचार शुरू करने के लिए विलंबता और बैंडविड्थ के लिए एक चर दोनों चर है।
आप क्लाउड कंप्यूटिंग का विशेष रूप से उल्लेख करते हैं। के साथ इस क्षेत्र में कुछ ही साल तीव्र नवाचार के भीतर हुई है अमेज़न लोचदार गणना बादल, गूगल एप इंजन और विभिन्न उपकरणों और उनके संबद्ध वैचारिक समानांतर प्रसंस्करण "मॉडल"।
विशेष खुले स्रोत उपकरण में Google के Mapreduce , Apache Hadoop, और NoSQL डेटाबेस शामिल हैं जो समानांतरण एल्गोरिथ्म "सर्वोत्तम प्रथाओं" और "डिज़ाइन पैटर्न" में नए, मजबूत, व्यापक रूप से अनुकूलित मानकों के रूप में उभर रहे हैं। मेमकाचैड का उपयोग मेमोरी-इन वितरित डेटाबेस के रूप में भी किया जा रहा है। इसका एक उदाहरण हाल ही के एक पेपर में वर्णित फेसबुक पर उपयोग में है [1]।
[१] बेरेज़की एट अल द्वारा कई मुख्य की-वैल्यू स्टोर
इस पर एक और कोण। माना जाता है कि यह कुछ हद तक अस्पष्ट या फ्रिंज के रूप में माना जा सकता है, लेकिन समानांतर रूप से कुछ काम है, एक सामान्य तरीके से, संभाव्य एल्गोरिदम, जो कुछ हद तक समानांतर रूप से स्वाभाविक रूप से समानता के अनुकूल हैं।
देखें कार्यस्थानों की एक क्लस्टर रैडेंस्की, वॉन, नॉरिस पर समानांतर समानांतर संभाव्य संगणनाएँ:
संभाव्य एल्गोरिदम अव्यवहारिक समस्याओं को हल करने के लिए कम्प्यूटेशनल रूप से गहन अनुमानित तरीके हैं। संभाव्य एल्गोरिदम क्लस्टर गणना के लिए उत्कृष्ट उम्मीदवार हैं क्योंकि उन्हें कम संचार और सिंक्रनाइज़ेशन की आवश्यकता होती है। संभाव्य क्लस्टर गणना के लिए एक सामान्य एल्गोरिथ्म के रूप में एक सामान्य समानांतर नियंत्रण संरचना को निर्दिष्ट करना संभव है । इस तरह के सामान्य समानांतर एल्गोरिदम को अलग-अलग अंतरंग समस्याओं के लिए लगभग समानांतर समाधान प्राप्त करने के लिए डोमेन-विशिष्ट अनुक्रमिक एल्गोरिदम के साथ एक साथ चिपकाया जा सकता है। इस पत्र में हम कार्यस्थानों के एक समूह पर संभाव्य संगणना के लिए एक सामान्य एल्गोरिथ्म प्रस्तावित करते हैं। हम दो असतत अनुकूलन समस्याओं के लिए विशिष्ट समानांतर एल्गोरिदम प्राप्त करने के लिए इस सामान्य एल्गोरिथ्म का उपयोग करते हैं: नैकपैक समस्या और यात्रा विक्रेता समस्या।
यदि यह स्पष्ट नहीं है, तो "सामान्य समानांतर नियंत्रण संरचना जेनेरिक एल्गोरिथ्म के रूप में" संभाव्य संगणना और समग्र रूपांतरण के साथ संदर्भित है, "मॉडल" है।
यह तर्क दिया जा सकता है कि संभाव्य संगणना पूरी तरह से शास्त्रीय कंप्यूटिंग या ट्यूरिंग नहीं है। तो ध्यान दें कि शास्त्रीय रूप से संभाव्य संगणना के साथ शास्त्रीय रूप से बांधने में कुछ काम है, विशेष रूप से एक समानांतर संदर्भ में
राव द्वारा संभाव्य समानांतर कार्यक्रमों के बारे में तर्क :
एल्गोरिदम के डिजाइन और विश्लेषण में यादृच्छिककरण का उपयोग कठिन समस्याओं के लिए सरल और कुशल एल्गोरिदम का वादा करता है, जिनमें से कुछ का निर्धारण समाधान नहीं हो सकता है। अधिक मात्रात्मक धारणा के लिए एल्गोरिदम की पूर्ण शुद्धता की पारंपरिक धारणा के व्यापार-बंद होने में सादगी, दक्षता, और व्यवहार्यता में यह लाभ होता है: 0 और 1. के बीच एक संभाव्यता के साथ शुद्धता पहले से ही अनपेक्षित के समानांतर समानता की धारणा के अतिरिक्त यादृच्छिककरण का विचार संभाव्य समानांतर कार्यक्रमों के बारे में तर्क देता है जो सभी अधिक यातनापूर्ण और कठिन हैं। इस पत्र में हम संभाव्य समानांतर कार्यक्रमों के गुणों को निर्दिष्ट और व्युत्पन्न करने की समस्या को संबोधित करते हैं जो या तो नियत या संभाव्य 1 के साथ होते हैं।
बेशक क्यूएम कंप्यूटिंग प्रोबेबिलिस्टिक कंप्यूटिंग के समान है (एक अच्छा रेफरी जो इस बात पर जोर देता है कि वन कॉम्प्लेक्सिटी थ्योरिस्ट की क्वांटम कम्प्यूटिंग व्यू ऑफ फोर्टेव है ) और कुछ संकेत हैं कि इन तरीकों को वहां बढ़ाया जा सकता है, जैसे समानांतर क्यूएम सिमुलेशन में काम में।
इसे कुछ लोगों द्वारा विवादास्पद माना जाएगा, और यहां तक कि इस कोण के समर्थकों को भी अनुसंधान के शुरुआती चरणों में स्वीकार करना होगा, लेकिन मूल रूप से क्वांटम कंप्यूटिंग में समानता और समानांतर गणना के कई संबंध हैं। संदर्भ अभी बिखरे हुए हैं, लेकिन एक उभरते हुए विषय को एक निर्धारित शोधकर्ता द्वारा देखा जा सकता है।
हो सकता है कि सबसे अच्छा संबंध गॉस्टर खोज एल्गोरिदम के साथ हो जो हाल ही में सामान्य रूप से अधिकांश एनपी पूर्ण समस्याओं पर स्पीडअप के लिए उपयोग करने योग्य होने के अर्थ में अधिक सामान्य दिखाया गया है [5]। लगता है कि एल्गोरिथ्म समानांतर डेटाबेस खोज एल्गोरिदम के साथ एक मजबूत सादृश्य / संबंध है। सबसे अच्छा शास्त्रीय धारावाहिक एल्गोरिदम एक ही प्रदर्शन को पूरा नहीं कर सकता है, लेकिन कम से कम एक प्राधिकरण हाल ही में तर्क देता है कि खोज के लिए क्यूएम दृष्टिकोण वास्तव में समानांतर शास्त्रीय एल्गोरिदम से बेहतर प्रदर्शन नहीं करता है। [१]
आगे सबूत ऐसी योजनाएं हैं जो स्पष्ट रूप से क्वांटम खोज में समानता को देखते हैं जैसे [2]। यह भी क्वांटम सिम्युलेटर (एस) प्रस्तावित किया गया है जो समानांतर / वितरित प्रसंस्करण [3] [4] पर आधारित है और क्योंकि यह योजना अच्छी तरह से फिट होती है और कुशल और ट्रैक्टेबल सिमुलेशन की ओर जाती है (30 क्विट रेफरी [3] में सिम्युलेटेड हैं), यह रूपांतरण निश्चित रूप से केवल एक संयोग नहीं है और समानांतर शास्त्रीय कंप्यूटिंग और क्यूएम कंप्यूटिंग के बीच एक गहरा पुल इंगित करता है, लेकिन शायद अभी तक खुला है।
[१] क्या क्वांटम खोज व्यावहारिक है? Viamontes एट अल द्वारा
[२] वू / डियान द्वारा समानांतर एकात्मक भेदभाव योजनाओं द्वारा सटीक क्वांटम खोज
[३] नीवा, मात्सुमोतो, इमाई द्वारा क्वांटम कंप्यूटिंग के लिए सामान्य प्रयोजन समानांतर सिम्युलेटर ।
[4] बील्स एट अल 2012 द्वारा कुशल वितरित क्वांटम कंप्यूटिंग
[५] एनपी पूरी समस्याओं को क्वांटम खोज के साथ एफरोर २०० NP द्वारा