एमडी सिमुलेशन के लिए मेरी प्रयोगशाला में एक निर्माण की तुलना में बादल में एक क्लस्टर का निर्माण कब सस्ता है?

23

अमेज़ॅन EC2 गणना क्लस्टर की लागत 3 साल के दौरान भौतिक सीपीयू कोर के अनुसार $ 800- $ 1000 (शुल्क चक्र के आधार पर) है। हार्डवेयर अधिग्रहण के हमारे अंतिम दौर में, मेरी लैब ने अमेज़ॅन के क्लस्टर के समान ही लगभग ~ $ 300 कोर के हार्डवेयर के मूल्य के 48 कोर उठाए।

क्या मुझसे कोई चूक हो रही है? क्या ऐसी कोई स्थिति है जिसमें यह आणविक गतिकी सिमुलेशन जैसे उच्च सीपीयू कार्यों के लिए क्लाउड में क्लस्टर बनाने के लिए आर्थिक समझ में आता है? या क्या मैं हमेशा सिर्फ बिल्डिंग और बेबी-डेइंग मशीन से बेहतर हूं?

(मुझे यह उल्लेख करना चाहिए कि मेरी लैब हमारे सर्वर रूम में बिजली के लिए भुगतान नहीं करती है (कम से कम सीधे नहीं), लेकिन इस लाभ के साथ भी अमेज़ॅन अभी भी सबसे महत्वपूर्ण लगता है)।

cloud-computing hpc

— टेलीफोन
स्रोत

2

एक बात मैं आपको बता सकता हूं कि आप क्लस्टर प्रशासन और रखरखाव के लिए कुछ श्रम लागतों को याद कर रहे हैं। एक अकादमिक सेटिंग में, किसी को क्लस्टर व्यवस्थापक होना चाहिए और सभी को ग्रन्ट कार्य करना होगा, जैसे कि ओएस सिस्टम अपडेट और अपग्रेड, नया सॉफ्टवेयर इंस्टॉलेशन, क्लस्टर नीचे जाने पर तकनीकी सहायता, और इसी तरह। ये कार्य धन्यवाद रहित हैं, और व्यवस्थापक कौशल के आधार पर, बहुत समय की आवश्यकता हो सकती है। EC2 क्लस्टर क्लस्टर रखरखाव के लिए आवश्यक मानव-घंटे पर कट जाएगा।

— जियोफ ऑक्सबेरी

1

ठीक है, आप स्पष्ट रूप से हार्डवेयर सस्ते हो गए हैं। मैंने अपने पूर्व कार्यस्थल पर 192-कोर क्लस्टर के लिए 3 साल से अधिक की लागतों की गणना की है और यह प्रति वर्ष 850 डॉलर प्रति कोर से अधिक हो गया है। बिजली प्रणाली और शीतलन के साथ हमारे द्वारा की गई सभी समस्याओं का उल्लेख नहीं करने के लिए ...

— हिस्ट्रो इलिव

@GeoffOxberry आप श्रम लागत के बारे में एक अच्छी बात करते हैं। मेरी लैब में मैं एडमिन हूं, इसलिए मैं ऐसी चीजों के बारे में नहीं सोचता। जैसा कि निराशा कभी-कभी हो सकती है, यह प्रेम का श्रम है। अगर मेरे पास नकदी और कहीं इसे रखने के लिए था, तो मैं इस ब्लॉग पर दिए गए निर्देशों का पालन करूंगा और अपना खुद का वाटसन बनाने की कोशिश करूंगा।

— तेल

@HristoIliev मुझे नहीं लगता कि यह इतना सस्ता था। यदि आप डेल से "हल्के ढंग से उपयोग किए जाने वाले" क्लस्टर लेने के लिए तैयार हैं, तो आप लागत को ~ $ 200 प्रति कोर तक बढ़ा सकते हैं। क्या आप मुझे अपने पूर्व कार्यस्थल पर हार्डवेयर के बारे में अधिक बता सकते हैं?

— तेल

1

यह एक कस्टम बिल्ट सिस्टम है जिसमें 12 ट्विन सुपरमाइक्रो डुअल-सॉकेट Xeon चेसिस (24 नोड्स, 48 E5420s) हैं, प्रत्येक नोड पर 16 GiB ECC RAM के साथ, एक सिंगल-सॉकेट Nehalem मशीन के साथ 2L M2090s, 24-पोर्ट InfiniBand स्विच, एक 4 डिस्क, दो 10 केवीए यूपीएस, दो एयर कंडीशनर के साथ फ़ाइल सर्वर। हमने इसे तीन साल की परियोजना अवधि के दौरान कई चरणों में प्राप्त किया। कुल मिलाकर सबसे बड़ा नहीं, लेकिन फिर भी कुल ~ 100 k EUR (बुल्गारिया में सर्वोत्तम शैक्षणिक मूल्य)।

— हिस्ट्रो इलिव

15

क्लाउड-आधारित संसाधनों का उपयोग करने में, मेरी राय में, मुख्य लाभ लचीलापन है, अर्थात यदि आपके पास उतार-चढ़ाव का कार्य है, तो आप केवल उसी चीज का भुगतान करते हैं, जिसकी आपको आवश्यकता है।

यदि आपके आवेदन में ऐसा नहीं है, तो आप जानते हैं कि आपके पास एक मात्रात्मक और निरंतर कार्यभार होगा, तो आप शायद अपने स्वयं के क्लस्टर का निर्माण बेहतर कर रहे हैं। क्लाउड में, आप लचीलेपन के लिए भुगतान करते हैं, और यदि आपको लचीलेपन की आवश्यकता नहीं है, तो आप किसी ऐसी चीज के लिए भुगतान कर रहे हैं जिसकी आपको आवश्यकता नहीं है।

यदि आपका कार्यभार लचीला है, लेकिन कुछ हद तक तीव्र है और कुछ हार्डवेयर विशेषताओं पर निर्भर करता है (aeismail का उत्तर देखें), तो आप निष्क्रिय चक्र को संशोधित करने के लिए अपने विश्वविद्यालय में अन्य लोगों के साथ एक क्लस्टर साझा करने का प्रयास करना चाह सकते हैं। मेरा पुराना विश्वविद्यालय एक "शेयरधारक मॉडल" के साथ इस तरह के एक साझा क्लस्टर को चलाता है जिसमें प्रत्येक समूह को हार्डवेयर में उनके निवेश के लिए आनुपातिक शक्ति की हिस्सेदारी की गारंटी दी जाती है और किसी को भी उपयोग किया जा सकता है। एकमात्र कठिनाई क्लस्टर प्रशासन को केंद्रीकृत करना है।

— पेड्रो
स्रोत

3

'क्वांटिफ़िबल और स्थिर' होने की कुंजी है। आमतौर पर वर्कलोड काफी भिन्न होता है, और यह कम लागत के लिए संभव है कि $ 300 / कोर की तुलना में बहुत अधिक हो। इसके अलावा, क्लाउड कम्प्यूट की स्थापना में अधिक उदाहरणों को स्केल करना आसान होता है यदि अस्थायी रूप से (किसी सम्मेलन से पहले सप्ताह) की आवश्यकता हो।

— फिल एच

1

इसके लिए +1। क्लस्टर्स का मेरा उपयोग "आपने क्या किया!" के मामले में 0 से होता है। जब भी मुझे इसकी आवश्यकता होगी मैं दूसरे के लिए भुगतान करने का जोखिम नहीं उठा सकता।

— फोमाइट

7

एमडी सिमुलेशन के साथ क्लाउड कंप्यूटिंग करते समय चिंता करने वाली कुछ चीजें हैं। उदाहरण के लिए, आपको सर्वर फ़ार्म में प्रोसेसर के भौतिक लेआउट के बारे में चिंता करने की ज़रूरत है जहाँ ये नौकरियां चल रही होंगी। इसका कारण यह है कि, आपके सिमुलेशन के आकार, और आपके द्वारा चलाए जा रहे गणनाओं के प्रकार (उदाहरण के लिए, इलेक्ट्रोस्टैटिक्स के साथ सिस्टम) के आधार पर, आप भारी मात्रा में FFT पर निर्भर हो सकते हैं और इलेक्ट्रॉनों को विशाल प्रोसेसर में चारों ओर धकेल सकते हैं कुल गणना समय का एक बहुत समय लेने वाला हिस्सा बन सकता है।

एमडी के रूप में डेटा-इंटेंसिव के लिए भी, आप यह सुनिश्चित करना चाहेंगे कि आपके पास सर्वरों के लिए तेजी से अपलोड और डाउनलोड कनेक्शन हो, साथ ही डेटा स्टोरेज पर भी समझदार सीमा हो। अन्यथा, लागत बचत का बहुत कुछ खो उत्पादकता और भंडारण शुल्क में दूर चूसा जा सकता है।

इसके लायक क्या है, हमारे संस्थान ने सिर्फ 500 € प्रति कोर की कीमत पर हमारे स्थानीय क्लस्टर के लिए लगभग 240 कोर खरीदे। उस लागत में चार साल के लिए हमारे परिसर में होस्टिंग और प्रशासन, प्लस सेवा शामिल है। एक वार्षिक आधार पर जो हास्यास्पद रूप से सस्ता लगता है। मुझे लगता है कि शायद यह दोनों दुनिया के लिए सबसे अच्छा है - स्थानीय पहुंच, लेकिन पेशेवर रूप से हमारी अपनी आईटी टीम की आवश्यकता के बिना बनाए रखा गया है।

— aeismail
स्रोत

5

मुझे अमेज़ॅन के EC2 जैसी क्लाउड सेवाओं के साथ कोई प्रथम अनुभव नहीं है, लेकिन प्रति कोर वास्तविक लागत आपके द्वारा उद्धृत किए जाने की तुलना में बहुत अधिक है: यह प्रारंभिक खरीद, बिजली, शीतलन, एक भवन में स्थान, प्रतिस्थापन हार्डवेयर की लागत है। साथ ही प्रशासन की लागत: ओएस और क्लस्टर सेवाओं को स्थापित करना, ओएस को अद्यतित रखना, कतार का निवारण करना, आदि। मुझे आश्चर्य नहीं होगा यदि इस सब का योग प्रारंभिक खरीद की लागत का दोगुना है। बेशक आप लचीलापन हासिल करते हैं।

मेरे लिए, मॉडल नीचे पैमाने पर आता है: यदि आपके पास वास्तव में बड़े क्लस्टर (1000 कोर या अधिक) हैं, तो आप काम के समय, मरम्मत, सिस्टम प्रशासन को संशोधित कर सकते हैं क्योंकि पेशेवर व्यस्त रखने के लिए पर्याप्त है। यदि आपके पास एक छोटा सा क्लस्टर है जहां यह एक समर्पित व्यक्ति के लायक नहीं है, तो यह संभव है कि आप कोई ऐसा व्यक्ति करें, जिसका पहला काम विज्ञान करना हो, और उस स्थिति में इस व्यक्ति का समय ऐसी व्यवस्थापकीय नौकरियों पर खराब खर्च होता है। यह वह जगह है जहाँ सेवाएँ-ऑन-डिमांड जैसे क्लाउड सर्वर चमकते हैं।

— वोल्फगैंग बंगर्थ
स्रोत

मेरी प्रयोगशाला में हमारे क्लस्टर के लिए बिजली, शीतलन और स्थान का भुगतान किया जाता है, जो हमारे विश्वविद्यालय द्वारा सुविधाओं की फीस के लिए हमारे अनुदान के बाहर ले जाने के लिए भुगतान किया जाता है। यह कटौती वही है जो हम क्लस्टर चला रहे हैं या नहीं। क्या आपको पता है कि ज्यादातर विश्वविद्यालयों में ऐसी ही स्थिति होती है, या अधिकांश लैब सीधे कूलिंग आदि के लिए भुगतान करने से बचती हैं?

— तेल

1

मेरा मानना है कि अधिकांश प्रयोगशालाओं में आपकी जैसी ही व्यवस्था है, लेकिन इन लागतों को वैसे भी अनदेखा करना गलत होगा। किसी को उन्हें कंधे पर रखना होगा, भले ही वह आप व्यक्तिगत रूप से न हो। यदि आप परिसर में भौतिक रूप से बजाय भौतिक रूप से क्लाउड में अपने क्लस्टर बनाने के लिए सहमत हैं, तो यह विभाग / विश्वविद्यालय से आपके द्वारा वापस की गई अप्रत्यक्ष लागत का एक बड़ा हिस्सा प्राप्त करने के लिए कहने के लायक हो सकता है।

— वोल्फगैंग बैंगर्थ

4

पहले से ही उत्कृष्ट उत्तरों में से कुछ के पूरक के रूप में, विचार करने के लिए एक और कारक है:

लागत के बावजूद, आप इसके लिए कैसे भुगतान करने जा रहे हैं?

मुझे एक गैर-तुच्छ संख्या में अनुदान का सामना करना पड़ा है जो नहीं होगा किसी भी परिस्थिति में हार्डवेयर खर्चों के लिए भुगतान , लेकिन EC2 जैसी किसी चीज़ पर कंप्यूटिंग समय के लिए भुगतान करेगा। इसलिए कुछ फंडिंग परिस्थितियों में, जबकि आप एक छोटे "टेस्टेड" क्लस्टर को अनस्ट्रक्चर्ड फंड या लैब स्टार्टअप पैकेज के साथ फंड करने में सक्षम हो सकते हैं, बड़े पैमाने पर प्रोजेक्ट्स के लिए यह आपकी कंप्यूटिंग लागतों को वित्तपोषित करने का एकमात्र तरीका हो सकता है।

NIH पर विचार करें:

ADP / Computer Services: आपके द्वारा यहाँ जिन सेवाओं को शामिल किया गया है, उनमें विशिष्ट कंप्यूटर सेवाओं का अनुसंधान होना चाहिए- जैसे कि सुपर कंप्यूटर पर कंप्यूटिंग समय को जमा करना या अपने आँकड़ों को चलाने में सहायता के लिए विशेष सॉफ़्टवेयर प्राप्त करना। इस खंड में आपके मानक डेस्कटॉप ऑफिस कंप्यूटर, लैपटॉप, या आपके संस्थान द्वारा प्रदान मानक तकनीकी सहायता शामिल नहीं होनी चाहिए। उन प्रकार के शुल्क एफएंडए लागत से बाहर आने चाहिए।

हालांकि $ 5,000 + उपकरण शीर्षक के तहत क्लस्टर मशीनों को रखना संभव है, और आप इसके लिए एक अच्छा तर्क दे सकते हैं, मैंने दोनों समीक्षकों को पाया है जो इसके बारे में चिंतित हैं, और विश्वविद्यालय ऐसे बनाए रखने की चल रही लागतों के बारे में संकोच कर रहे हैं प्रणाली।

कुछ अनुदान और भी सख्त हैं। एक अनुदान जो मैंने वर्तमान में इस प्रकार पढ़ा है:

कंप्यूटर हार्डवेयर के लिए फंड का उपयोग भी नहीं किया जा सकता है

यह अक्सर सरल लागतों के लिए भुगतान किए जाने वाले क्लस्टर को प्राप्त करने के लिए अक्सर आसान होता है यदि इसके ईसी 2-आधारित या इसके कई एनालॉग्स में से एक वास्तव में हार्डवेयर खरीद रहा है, खासकर यदि आपकी संस्था अप्रत्यक्ष लागतों के साथ कंजूस है। यह आपके लिए मामला नहीं हो सकता है, लेकिन कुछ के लिए यह मामला है।

— Fomite
स्रोत

मुझे लगता है कि यह एक अच्छा तर्क नहीं है। मैं केवल यूएस में फंडिंग सिस्टम से परिचित हूं, लेकिन अगर आप "उपकरण" श्रेणी में एक निश्चित राशि डालते हैं, तो आप इसका उपयोग क्लस्टर खरीदने के लिए कर सकते हैं। बेशक, अगर वह श्रेणी खाली है, तो आपने डॉलर के गलत सेट का अनुरोध किया है। उपकरण वास्तव में एक अच्छा लाभ है कि अगर यह उपकरण का एक टुकड़ा है जो $ 5k खरीद मूल्य से ऊपर है तो आप इस पर ओवरहेड का भुगतान नहीं करते हैं (कम से कम हमारे विश्वविद्यालय में)।

— वोल्फगैंग बैंगर्थ

@WolfgangBangerth विवरण के लिए मेरा संपादन देखें - इसे "उपकरण" श्रेणी के अंतर्गत रखना स्वीकार्य नहीं हो सकता है।

— फोमाइट

हां, अगर ये स्थितियां हैं तो ऐसा कुछ भी नहीं है जो आप कर सकते हैं। लेकिन मैंने पाया है कि अगर आपके पास एक अच्छा मामला है कि आप अनुदान में उपकरण के पैसे क्यों मांगते हैं, तो समीक्षक आमतौर पर इसके साथ जाते हैं - यह आम तौर पर वैसे भी समग्र राशि का एक बड़ा हिस्सा नहीं है। बेशक, अगर पैसे के साथ शुरू करने के लिए बजट नहीं किया गया है, तो इस तथ्य के बाद आप कुछ भी नहीं कर सकते हैं।

— वोल्फगैंग बैंगर्थ

0

भगवान के बहुत सारे जवाब पहले से ही हैं। मैं सिर्फ दो छोटे बिंदु जोड़ना चाहता हूं।

1.) मुझे पता है कि आईबीएम कुछ इसी तरह की पेशकश कर रहा है। तो आपके आवेदन के आधार पर यह विभिन्न प्रस्तावों की तुलना करने लायक हो सकता है। न केवल लागत के संबंध में, बल्कि उपकरण भी।

2.) बेशक अधिकांश प्रयोगशालाएं अपने स्वयं के क्लस्टर में निवेश करने में सक्षम होने के लिए बहुत छोटी हैं। इस प्रकार प्रश्न यह है कि क्या एक साथ कई प्रयोगशालाओं को इकट्ठा करना और क्लस्टर में निवेश करना संभव नहीं है जो विभिन्न प्रयोगशालाओं के बीच साझा किया जाता है। यह स्पष्ट लागत साझाकरण प्रभाव के अलावा एक और भी अधिक वितरण का लाभ है।

— Azrael3000
स्रोत