इसलिए, मैं Hadoop को उत्सुकता के साथ देख रहा हूं, और ईमानदार होने के लिए मैं बहुत रोमांचित हूं, चीजें ज्यादा कूलर नहीं हैं।
मेरा एकमात्र मामूली मुद्दा मैं एक सी # डेवलपर हूं और यह जावा में है।
ऐसा नहीं है कि मैं जावा को उतना नहीं समझता, जितना मैं Hadoop.net या NHadoop या .NET प्रोजेक्ट की तलाश में हूं जो Google MapReduce के दृष्टिकोण को गले लगाता है । क्या किसी को पता है?
जवाबों:
क्या आपने Hadoop की स्ट्रीमिंग का उपयोग किया है ?
मैं इसे हर समय अजगर में इस्तेमाल करता हूं :-)।
मैं यह देखना शुरू कर रहा हूं कि विषम दृष्टिकोण अक्सर सबसे अच्छा होता है और ऐसा लगता है कि अन्य लोग भी ऐसा ही कर रहे हैं।
यदि आप प्रोटोकॉल-बफ़र्स या फ़ेसबुक के रोमांच जैसी परियोजनाओं को देखते हैं, तो आप देखते हैं कि कभी-कभी किसी अन्य भाषा में लिखे गए ऐप का उपयोग करना और अपनी पसंद की भाषा में गोंद का निर्माण करना सबसे अच्छा है।
Http://research.microsoft.com/en-us/projects/dryadlinq/default.aspx या http://msdn.microsoft.com/en-us/library/dd179423.aspx देखें
हाल ही में, माइस्पेस ने अपने .NET MapReduce ढांचे, Qizmt को ओपन सोर्स के रूप में जारी किया , इसलिए यह इस स्पेस में एक संभावित दावेदार भी है।
मैंने यहाँ आपके प्रश्न का उत्तर दिया
इसे यहाँ स्रोत में कहने के लिए:
माइक्रोसॉफ्ट ने Hadoop के पक्ष में अपना विकल्प ( ड्रायड ) गिरा दिया । अगले साल वे Hadoop एकीकरण के साथ MS SQL सर्वर 2012 जारी करेंगे। जैसे ही हम बोलते हैं, Azure और Windows गंभीर समर्थन विकसित किया जा रहा है।
यह 2012 में पहली छमाही में उपलब्ध होगा।
Hadoop # 1 BigData प्लेटफॉर्म है और ओपनसोर्स और मालिकाना स्रोत (जावा, .Net, पायथन, ...) द्वारा समर्थित होने जा रहा है, यहां तक कि ओरेकल भी इसे अपना रहा है।
यदि आप कुछ विकसित कर रहे थे, तो आपको प्रतीक्षा करनी चाहिए कि क्या आप .Net प्लेटफॉर्म पर हैं।
क्या संभव है के बारे में अधिक जानकारी यहां उपलब्ध होगी
मैं कहूंगा कि ड्रायडालिनक निकटतम चीज है जो हमें .NET लोक हैडोप के लिए है। लेकिन यह निर्भर करता है कि आप हडूप को किसके लिए इस्तेमाल करना चाहते हैं। यदि आप डिस्ट्रीब्यूटेड सेल्फ सेल्फिंग डिस्ट्रीब्यूटेड फाइल (DFS) सिस्टम की तलाश कर रहे हैं, तो DryadLINQ वह नहीं है जो आप खोज रहे हैं। इसका डीएफएस के लिए एक एनालॉग है, लेकिन आपको विभाजन को मैन्युअल रूप से बनाना और प्रत्येक विभाजन को वितरित करना होगा।
यह कहा जा रहा है, अगर इसका Hadoop का वितरित निष्पादन पहलू जिसे आप DryadLINQ की तुलना में देख रहे हैं, वह वास्तव में अद्भुत है (और नहीं, मैं एमएस से संबद्ध नहीं हूं)। जब तक आपके पास Microsoft HPC क्लस्टर सेटअप है, जब तक कि DryadLINQ के साथ जाना वास्तव में आसान है।
आपके द्वारा लिखा गया कोड वास्तव में सिर्फ सीधा LINQ कोड है, इसके अलावा IEnumerable<T>आप पर LINQ को निष्पादित करने के अलावा इसे निष्पादित करना होगा PartitionedTable<T>(स्वयं निर्मित वितरित डेटा संरचना)।
ड्रायडलीनक्यू के बारे में वास्तव में क्या अच्छा रहा है, एल्गोरिदम विकसित करते समय समय के आसपास तेजी से बारी (कोशिश, परीक्षण, समायोजित, दोहराएं) है। आप बस अपनी गणना करने के लिए LINQ कोड लिखें और DryadLINQ पूरे वितरित निष्पादन भाग का ध्यान रखेगा। यह मेरे द्वारा आया सबसे प्राकृतिक एनालॉग है जो एकल प्रसंस्करण प्रक्रिया के लिए कोड लिखने की तरह ही वितरित प्रसंस्करण के लिए लेखन कोड बनाता है।
आप कुछ ऐसा देख सकते हैं जैसे कि रेवेनडब यह काफी बड़े आकार के डेटा के लिए मैपरेड के लिए बहुत ही अच्छा समर्थन प्रदान करता है। जैसा कि यह .Net में बनाया गया है, इसलिए एक उचित LINQ क्लाइंट API उपलब्ध है।
आरंभ करने के लिए आप मेरे ब्लॉग को पढ़ सकते हैं ।
Apache Hadoop और स्ट्रीमिंग का उपयोग करना बेहतर हो सकता है क्योंकि Apache Hadoop सक्रिय रूप से Yahoo और Facebook जैसे उद्योग में बड़े दिग्गजों द्वारा विकसित और रखरखाव किया जा रहा है। तो यह वही कर सकता है जो आप इसे करने की अपेक्षा करते हैं।
यदि आपको .NET में समाधान की आवश्यकता है तो कृपया माइस्पेस कार्यान्वयन @ माइस्पेस Qizmt - माइस्पेस ओपन सोर्स मैप्रेड्यूस फ्रेमवर्क की जांच करें
Microsoft HDIightight को चालू करने की प्रक्रिया में है , जो कि उनके "100% अपाचे संगत हैडोप वितरण" के रूप में बिल किया गया है।
यह विंडोज सर्वर और विंडोज एज़्योर सेवा दोनों पर उपलब्ध है।
Microsoft रिसर्च के पास डेटोना http://research.microsoft.com/en-us/projects/daytona/ है
आप इसे डाउनलोड कर सकते हैं। C # में एक WordCount नमूना है।
अब आप Hadoop का उपयोग सीधे कर सकते हैं। .NET Microsoft ने ऐसा करने के लिए SDK जारी किया है।
https://hadoopsdk.codeplex.com/
बेशक इसका मतलब जावा आधारित Hadoop नेटवर्क का उपयोग करना है। लेकिन क्या यह बात है कि सर्वर जावा में चल रहा है? मुझे यकीन है कि कोई इसे पोर्ट करने का प्रयास कर सकता है, लेकिन मुझे नहीं लगता कि यह एक अच्छा विचार होगा क्योंकि निगम पहले से ही जावा संस्करण का समर्थन कर रहे हैं और मुझे नहीं लगता कि .NET पोर्ट को समान ध्यान मिलेगा।
पर एक नज़र है:
http://www.windowsazure.com/en-us/services/hdinsight/
यह Azure के लिए Hadoop का कार्यान्वयन है और आप इसे एक्सेस करने के लिए .NET का उपयोग कर सकते हैं।
आंतरिक रूप से, Microsoft कॉस्मॉस का उपयोग कर रहा है। इसे Microsoft थ्रू Azure के बाहर उपलब्ध कराया गया है। इसका नाम Azure Data Lake Analytics और Azure Data Lake Store है । एज़्योर डेटा लेक एनालिटिक्स एक सेवा के रूप में यार्न और एक सेवा के रूप में एज़्योर डेटा लेक स्टोर WebHDFS है। Azure Data Lake Analytics का पहला संस्करण केवल U-SQL को Transact-SQL + C # के आधार पर एक भाषा होस्ट करता है।
.NET पर http://mapsharp.codeplex.com/ के लिए बहुत सुंदर MapReduce कार्यान्वयन है
dryad / linq का उत्पादन किया जा रहा है और जल्द ही जारी किया जाएगा: http://blogs.technet.com/b/windowshpc/archive/2011/07/07/announcing-linq-to-hpc-beta-2.aspx संयोजन के रूप में उपयोग करें Microsoft HPC के साथ एक शक्तिशाली, क्लस्टर आधारित समाधान के लिए असंरचित डेटा को कम करने के लिए
जैसा कि दूसरों ने उल्लेख किया है, ड्रायडलाइन एक प्रोग्रामिंग फ्रेमवर्क है जो डेवलपर्स को LINR प्रश्नों को लिखने और उन्हें एक क्लस्टर पर MapReduce के समान तरीके से निष्पादित करने की अनुमति देता है। DryadLINQ प्रोजेक्ट को हाल ही में GitHub पर Apache लाइसेंस के तहत जारी किया गया है , और रिलीज़ में YARN क्लस्टर (Azure HDInsight क्लस्टर सहित) पर चलने के लिए समर्थन शामिल है।