क्या MapReduce ढांचा एक प्रकार का BSP है?

11

क्या यह सही है कि मैपअर्डेस फ्रेमवर्क को एक प्रकार की बल्क सिंक्रोनस समानांतर प्रोग्रामिंग फ्रेमवर्क कहा जाए, जिसमें सिंक्रोनाइज़ेशन के बीच प्रोसेसर के भीतर कोई स्थानीय मेमोरी रिटेंशन न हो? यदि नहीं, तो कौन सा समानांतर प्रोग्रामिंग मॉडल सबसे सटीक रूप से मैप्सड्यूस ढांचे को घेरता है?

dc.parallel-comp machine-models

— जेफ कुबीना
स्रोत

1

यह एक अच्छा सवाल है!

— सुरेश वेंकट

धन्यवाद सुरेश, आप क्या सोचते हैं, सहमत हैं?

— जेफ कुबिना

सबसे अच्छा जवाब चुनने पर कठिन विकल्प मुझे लगता है कि वे सभी मुझे मानचित्र के बारे में अधिक ज्ञान प्राप्त करने में मदद करते हैं और अन्य इसे कैसे देखते हैं। मैंने साशो के उत्तर को चुना क्योंकि इससे मुझे एक पेपर मिला जिसने मेरे प्रश्न को सबसे अच्छा बताया। सभी को धन्यवाद।

— जेफ कुबिना

11

Http://arxiv.org/abs/1101.1902 के खंड 2 में , लेखक MapReduce के एक मॉडल को परिभाषित करते हैं जो जानबूझकर बसपा की तरह संरचित है। वे अनुकरण प्रमेय भी साबित करते हैं। शुरू करने के लिए एक अच्छी जगह हो सकती है।

— साशो निकोलोव
स्रोत

5

हां, मेरी राय है कि शास्त्रीय MapReduce एक बीएसपी मॉडल है (और इसलिए अधिकतम संभव समानांतर प्रदर्शन पर इसकी अंतर्निहित सीमाएं हैं जो हासिल की जा सकती हैं)। हालाँकि, MapReduce पर नया काम सिंक्रोनाइज़ेशन की शिथिल धारणाओं पर केंद्रित है, जो कि इस "सामान्यीकृत MapReduce" को सख्त BSP ढांचे से बाहर ले जाएगा। विशेष रूप से, यदि कोई डेटा के कुछ प्रतिकृति करता है तो सिंक्रनाइज़ेशन संरचना को आराम दिया जा सकता है, प्रदर्शन लाभ प्राप्त कर सकता है।

उदाहरण के लिए फोटो अफराती और जेफ उल्मैन द्वारा काम देखें: मैप-इन एनवायरनमेंट , ईडीबीटी 2010 में ज्वाइनिंग को ऑप्टिमाइज़ करना। ( प्रीप्रिंट )

— आंद्रस सलामन
स्रोत

2

चूंकि MapReduce में गणना के आधार पर एक सरल और संरचित ग्राफ है, यह IMHO को डेटा-प्रवाह मॉडल के रूप में वर्गीकृत कर सकता है।

— मस्सिमो कैफ़रो
स्रोत

मैं सहमत हूं, MapReduce में टैग-डेटाफ्लो मशीन के समान गणना की रणनीति है। Yahoo की Pig भाषा यहां तक कि MapReduce के ऊपर एक डेटाफ्लो भाषा का निर्माण करती है।

— बीफ