MapReduce के लिए वास्तव में आसान , त्वरित और "डमीज़ के लिए" परिचय यहां उपलब्ध है: http://www.marcolotz.com/?p/67
इसकी कुछ सामग्री पोस्ट करना:
सबसे पहले, MapReduce मूल रूप से क्यों बनाया गया था?
मूल रूप से Google को बड़ी कम्प्यूटेशन नौकरियों को आसानी से समानांतर बनाने के लिए एक समाधान की आवश्यकता थी, जिससे नेटवर्क के माध्यम से जुड़ी कई मशीनों में डेटा वितरित किया जा सके। इसके अलावा, इसे पारदर्शी तरीके से मशीन की विफलता को संभालना था और लोड संतुलन मुद्दों का प्रबंधन करना था।
MapReduce असली ताकत क्या हैं?
कोई कह सकता है कि MapReduce का जादू Map और Reduce फ़ंक्शन अनुप्रयोग पर आधारित है। मुझे साथी को स्वीकार करना चाहिए, कि मैं दृढ़ता से असहमत हूं। मुख्य विशेषता जिसने MapReduce को इतना लोकप्रिय बना दिया, वह सरल इंटरफ़ेस के साथ मिलकर, स्वचालित समानांतरकरण और वितरण की क्षमता है। इन कारकों में से अधिकांश के लिए पारदर्शी विफलता हैंडलिंग के साथ अभिव्यक्त किया गया, इस ढांचे को इतना लोकप्रिय बना दिया।
कागज पर थोड़ी और गहराई:
MapReduce को मूल रूप से एक समरूप दृष्टिकोण और कमोडिटी-कंप्यूटर क्लस्टर का उपयोग करके बिग डेटा में संगणना बनाने के लिए एक समाधान के रूप में Google पेपर (डीन और गेमावत, 2004 - लिंक यहाँ) में उल्लेख किया गया था। Hadoop के विपरीत, जो जावा में लिखा गया है, Google की रूपरेखा C ++ में लिखी गई है। दस्तावेज़ का वर्णन है कि बड़े डेटा सेट पर कार्यात्मक प्रोग्रामिंग से मैप और रिड्यूस फ़ंक्शन का उपयोग करके एक समानांतर फ्रेमवर्क कैसे व्यवहार करेगा।
इस समाधान में दो मुख्य चरण होंगे - जिन्हें मैप और रिड्यूस कहा जाता है - पहले और दूसरे के बीच एक वैकल्पिक कदम के साथ - जिसे कॉम्बाइन कहा जाता है। मैप स्टेप पहले चलेगा, इनपुट की-वैल्यू पेयर में कंपीटिशन करेगा और एक नया आउटपुट की-वैल्यू जेनरेट करेगा। यह ध्यान रखना चाहिए कि इनपुट की-वैल्यू पेयर के फॉर्मेट को आउटपुट फॉर्मेट पेयर से मेल खाने की जरूरत नहीं है। Reduce step एक ही कुंजी के सभी मानों को इकट्ठा करेगा, इस पर अन्य संगणनाएँ करेगा। परिणामस्वरूप, यह अंतिम चरण कुंजी-मूल्य जोड़े का उत्पादन करेगा। MapReduce के सबसे तुच्छ अनुप्रयोगों में से एक शब्द गणना को लागू करना है।
इस आवेदन के लिए छद्म कोड, बोला गया है:
map(String key, String value):
// key: document name
// value: document contents
for each word w in value:
EmitIntermediate(w, “1”);
reduce(String key, Iterator values):
// key: a word
// values: a list of counts
int result = 0;
for each v in values:
result += ParseInt(v);
Emit(AsString(result));
जैसा कि एक नोटिस कर सकता है, नक्शा एक रिकॉर्ड में सभी शब्दों को पढ़ता है (इस मामले में एक रिकॉर्ड एक पंक्ति हो सकती है) और मूल्य के रूप में शब्द को कुंजी और नंबर 1 के रूप में उत्सर्जित करता है। बाद में, कम एक ही कुंजी के सभी मूल्यों को समूहित करेगा। आइए एक उदाहरण दें: कल्पना करें कि रिकॉर्ड में 'घर' शब्द तीन बार दिखाई देता है। रिड्यूसर का इनपुट [हाउस, [1,1,1]] होगा। Reducer में, यह कुंजी हाउस के लिए सभी मानों को सम्मिलित करेगा और आउटपुट के रूप में निम्नलिखित प्रमुख मान देगा: [house, [3]]।
यहाँ एक छवि है कि यह MapReduce ढांचे में कैसा दिखेगा:
MapReduce अनुप्रयोगों के कुछ अन्य शास्त्रीय उदाहरणों के रूप में, कोई कह सकता है:
• URL पहुंच आवृत्ति की गणना
• वेब-लिंक ग्राफ को उलट दें
• वितरित ग्रेप
• मेजबान प्रति शब्द वेक्टर
बहुत अधिक नेटवर्क ट्रैफ़िक से बचने के लिए, पेपर बताता है कि डेटा लोकलिटी को बनाए रखने के लिए फ्रेमवर्क को कैसे आज़माना चाहिए। इसका मतलब यह है कि यह हमेशा यह सुनिश्चित करने की कोशिश करनी चाहिए कि मैप जॉब्स चलाने वाली मशीन की मेमोरी / लोकल स्टोरेज में डेटा है, इसे नेटवर्क से लाने से बचें। मैपर के माध्यम से नेटवर्क को कम करने का लक्ष्य, पहले वर्णित वैकल्पिक कॉम्बिनर चरण का उपयोग किया जाता है। कंबाइन रेड्यूसर को भेजने से पहले एक दिए गए मशीन में मैपर्स के आउटपुट पर कम्प्यूटेशन करता है - जो दूसरी मशीन में हो सकता है।
दस्तावेज़ यह भी बताता है कि दोष के मामले में ढांचे के तत्वों को कैसे व्यवहार करना चाहिए। कागज में इन तत्वों को कार्यकर्ता और मास्टर कहा जाता है। उन्हें ओपन-सोर्स कार्यान्वयन में अधिक विशिष्ट तत्वों में विभाजित किया जाएगा। चूंकि Google ने केवल पेपर में दृष्टिकोण का वर्णन किया है और अपने स्वामित्व सॉफ्टवेयर को जारी नहीं किया है, इसलिए मॉडल को लागू करने के लिए कई ओपन-सोर्स फ्रेमवर्क बनाए गए थे। उदाहरण के तौर पर कोई कह सकता है कि मानदो में Hadoop या सीमित MapReduce फीचर है।
रन-टाइम को गैर-विशेषज्ञ प्रोग्रामर के विवरणों का ध्यान रखना चाहिए, जैसे इनपुट डेटा को विभाजित करना, मशीनों के बड़े सेट में प्रोग्राम एक्जीक्यूशन को शेड्यूल करना, मशीनों की विफलताओं (एक पारदर्शी तरीके से) को हैंडल करना और इंटर-मशीन कम्युनिकेशन का प्रबंधन करना । एक अनुभवी उपयोगकर्ता इन मापदंडों को ट्यून कर सकता है, जैसे कि श्रमिकों के बीच इनपुट डेटा को कैसे विभाजित किया जाएगा।
प्रमुख धारणाएँ:
• दोष सहिष्णुता:यह मशीन विफलता को इनायत से सहन करना चाहिए। इसे निष्पादित करने के लिए, मास्टर समय-समय पर श्रमिकों को पिंग करता है। यदि मास्टर किसी निश्चित समय व्यतीत होने पर किसी दिए गए कार्यकर्ता से प्रतिक्रियाएं प्राप्त नहीं करता है, तो स्वामी उस कार्यकर्ता में विफल के रूप में कार्य को परिभाषित करेगा। इस मामले में, दोषपूर्ण कार्यकर्ता द्वारा पूरा किए गए सभी मानचित्र कार्यों को फेंक दिया जाता है और दूसरे उपलब्ध कर्मचारी को दिया जाता है। ऐसा ही तब होता है जब कार्यकर्ता अभी भी एक मानचित्र या कम कार्य को संसाधित कर रहा था। ध्यान दें कि यदि कार्यकर्ता ने पहले से ही अपने कम हिस्से को पूरा कर लिया है, तो सभी गणना पहले से ही समाप्त हो गई थी जब तक यह विफल हो गया और इसे रीसेट करने की आवश्यकता नहीं है। विफलता के प्राथमिक बिंदु के रूप में, यदि मास्टर विफल हो जाता है, तो सभी नौकरी विफल हो जाती है। इस कारण से, कोई व्यक्ति अपनी डेटा संरचना को बचाने के लिए, मास्टर के लिए आवधिक चौकियों को परिभाषित कर सकता है।
• स्थानीयता: नेटवर्क ट्रैफ़िक से बचने के लिए, ढांचा यह सुनिश्चित करने की कोशिश करता है कि सभी इनपुट डेटा स्थानीय रूप से उन मशीनों के लिए उपलब्ध हैं जो उन पर कम्प्यूटेशन करने जा रहे हैं। मूल विवरण में, यह Google फ़ाइल सिस्टम (GFS) का उपयोग प्रतिकृति कारक 3 और 64 एमबी के ब्लॉक आकार के साथ करता है। इसका मतलब यह है कि 64 एमबी (कि फाइल सिस्टम में एक फ़ाइल की रचना) के एक ही ब्लॉक में तीन अलग-अलग मशीनों में समान प्रतियां होंगी। मास्टर को पता है कि ब्लॉक कहां हैं और उस मशीन में मानचित्र नौकरियों को शेड्यूल करने का प्रयास करें। यदि वह विफल हो जाता है, तो मास्टर कार्यों के डेटा की प्रतिकृति के पास एक मशीन आवंटित करने की कोशिश करता है (यानी डेटा मशीन के एक ही रैक में एक कार्यकर्ता मशीन)।
• कार्य ग्रैन्युलैरिटी: यह मानते हुए कि प्रत्येक मैप चरण को M टुकड़ों में विभाजित किया गया है और प्रत्येक Reduce चरण को R टुकड़ों में विभाजित किया गया है, आदर्श यह होगा कि M और R कार्यकर्ता मशीनों की संख्या की तुलना में बहुत बड़ा है। यह इस तथ्य के कारण है कि कई अलग-अलग कार्यों को करने वाला एक कार्यकर्ता गतिशील लोड संतुलन में सुधार करता है। इसके अलावा, यह कार्यकर्ता के असफल होने की स्थिति में पुनर्प्राप्ति की गति को बढ़ाता है (क्योंकि कई मानचित्र कार्यों को पूरा करने के बाद इसे अन्य सभी मशीनों में फैलाया जा सकता है)।
• बैकअप कार्य: कभी-कभी, एक नक्शा या Reducer कार्यकर्ता क्लस्टर में दूसरों की तुलना में बहुत अधिक धीमी गति से व्यवहार कर सकता है। यह कुल प्रसंस्करण समय पकड़ सकता है और इसे उस एकल धीमी मशीन के प्रसंस्करण समय के बराबर बना सकता है। मूल पेपर बैकअप टास्क नामक एक विकल्प का वर्णन करता है, जो मास्टर द्वारा निर्धारित किया जाता है जब एक MapReduce ऑपरेशन पूरा होने के करीब होता है। ये ऐसे कार्य हैं जो इन-प्रगति कार्यों के मास्टर द्वारा निर्धारित किए गए हैं। इस प्रकार, MapReduce कार्रवाई तब पूर्ण होती है जब प्राथमिक या बैकअप समाप्त हो जाता है।
• काउंटरर्स: कभी-कभी किसी को ईवेंट्स की गणना करने की इच्छा हो सकती है। इस कारण से, जहाँ बनाया जाता है। प्रत्येक श्रमिकों में काउंटर मूल्यों को समय-समय पर मास्टर के लिए प्रचारित किया जाता है। मास्टर तब एकत्र करता है (Yep। लगता है कि प्रागेल एग्रीगेटर्स इसी जगह से आए थे) एक सफल मानचित्र के काउंटर मान और टास्क को कम करते हैं और उन्हें उपयोगकर्ता कोड में वापस कर देते हैं जब MapReduce ऑपरेशन पूरा होता है। मास्टर स्टेटस में एक मौजूदा काउंटर वैल्यू भी उपलब्ध है, इसलिए प्रक्रिया को देखने वाला एक इंसान इस बात पर नज़र रख सकता है कि वह कैसा व्यवहार कर रहा है।
ठीक है, मुझे लगता है कि उपरोक्त सभी अवधारणाओं के साथ, Hadoop आपके लिए केक का एक टुकड़ा होगा। यदि आपके पास मूल MapReduce लेख या संबंधित कुछ के बारे में कोई प्रश्न है, तो कृपया मुझे बताएं।