500 से अधिक कंप्यूटरों को बड़ी फाइलें धक्का

Question

मैं एक वार्षिक सम्मेलन के लिए 500-600 किराए पर विंडोज 7 कंप्यूटर का प्रबंधन करने के लिए एक टीम के साथ काम करता हूं। हमारे पास बड़ी मात्रा में डेटा है जिसे इन कंप्यूटरों के साथ समन्वयित करने की आवश्यकता है, 1 TiB तक। कंप्यूटर को कमरों में विभाजित किया जाता है और मानवरहित गीगाबिट स्विच के माध्यम से जोड़ा जाता है। हम Windows स्थापना और कॉन्फ़िगरेशन के साथ समय से पहले इन कंप्यूटरों को तैयार करते हैं, साथ ही किराये की कंपनी द्वारा प्रतिकृति के लिए आधार छवि भेजने से पहले हमारे पास उपलब्ध किसी भी फाइल। हर साल, हमारे पास साइट पर मौजूद दृष्टिकोण होते हैं, जिसमें डेटा के गिग तक होते हैं, जिन्हें उस कमरे में धकेलने की आवश्यकता होती है जिसे वे प्रस्तुत कर रहे होंगे। कभी-कभी उनके पास कुछ फाइलें होती हैं जो छोटे आकार की होती हैं, जैसे स्लाइड पीडीएफ, लेकिन हो सकता है। कभी-कभी बहुत बड़ा हो> 5 GiB।

इन फ़ाइलों को आगे बढ़ाने के लिए हमारी वर्तमान रणनीति बैच स्क्रिप्ट और रोबोकॉपी का उपयोग कर रही है। बड़े पुश के लिए, हम वास्तव में एक टोरेंट फ़ाइल बनाने के लिए बिटटोरेंट क्लाइंट का उपयोग करते हैं, और फिर हम रिमोट-मशीन पर एक फ़ोल्डर में टोरेंट को पुश करने के लिए बैच-रोबोकोपी का उपयोग करते हैं जो एक स्थापित बीटी क्लाइंट द्वारा निगरानी की जा रही है। अक्सर बार, इस डेटा को एक छोटी सी समय खिड़की के साथ तुरंत धक्का देने की आवश्यकता होती है। हमारे पास एक नियंत्रण कक्ष में कई मशीनें हैं जो फर्श पर उन मशीनों के समान हैं जो हम इन धक्का के लिए उपयोग करते हैं।

हमें कभी-कभी दूरस्थ मशीनों पर एक कार्यक्रम निष्पादित करने की आवश्यकता होती है, और हम वर्तमान में इस कार्य को संभालने के लिए बैच और PSexec का उपयोग करते हैं।

हम इन अंतिम मिनटों का जवाब देने में सक्षम होने के लिए "सॉरी, अपनी गलती" के साथ धक्का देना पसंद करेंगे, लेकिन ऐसा नहीं होगा। बीटी विधि ने हमें बहुत तेज़ प्रतिक्रिया समय देने की अनुमति दी है, लेकिन कई नौकरियों को धक्का दिए जाने पर पूरी बैच प्रक्रिया गड़बड़ा सकती है। हम अन्य प्रक्रियाओं के लिए एंटरप्राइज घोस्ट का उपयोग करते हैं, और यह इस बड़े पैमाने पर अच्छी तरह से काम नहीं करता है, साथ ही यह इस तरह के एक साल के कार्य के लिए वास्तव में काफी महंगा है।

संपादित करें: एक कठिन आवश्यकता है कि फर्श पर दूरस्थ मशीनें विंडोज चल रही हैं। नियंत्रण मशीनों में हार्ड ओएस की आवश्यकता नहीं होती है। मैं वास्तव में अपस्ट्रीम राउटर के साथ जटिलताओं के कारण मल्टीकास्ट से दूर रहना पसंद करूंगा। क्या मल्टीकास्ट या बिटटोरेंट इस पर जाने का बेहतर तरीका है? क्या एक और प्रोटोकॉल है जो बेहतर काम कर सकता है?

Comments

एक अच्छी तरह से लिखित प्रश्न के रूप में यह कहने के लिए मुझे दर्द होता है कि किसी भी स्टैक एक्सचेंज साइटों पर खरीदारी प्रश्न ऑफ टॉपिक हैं। देखें क्यू एंड ए कठिन है, अधिक जानकारी के लिए खरीदारी और अक्सर पूछे जाने वाले प्रश्न जाने दें ।

— क्रिस एस

I would really like to stay away from Multicast because of complications with upstream routers.तुम क्यों पर विस्तृत कर सकते हैं?

— २१:०२ पर Zoredache

ईमानदारी से एक बहुस्त्र्पीय समाधान को खोदने से अलग आपके घरेलू-विकसित बिटटोरेंट और PSExec प्रक्रिया को लगता है कि आप क्या कर सकते हैं। तुम सुंदर / स्वचालन के लिए इसके चारों ओर कुछ PowerShell को लपेटना चाह सकते हैं, लेकिन यह सबसे अच्छा सुझाव है जो मैं आपको दे सकता हूं ...

— voretaq7

@ Zoredache- ईमानदारी से, यह आंशिक रूप से है क्योंकि मेरे पास मल्टीकास्ट के साथ पर्याप्त अनुभव नहीं है। मैंने घोस्ट और मल्टीकास्ट से निपटा है, और वास्तव में बहुत अच्छे परिणाम नहीं आए हैं। अपस्ट्रीम उपकरण उस सुविधा से संबंधित है जिसे हम अनुबंध करते हैं, और हमने कुछ स्थानों पर कुछ कठिन आईटी समूहों से निपटा है। मैं उनके किसी भी कर्मचारी से यह उम्मीद नहीं करूंगा कि मल्टीकास्ट क्या है।

— WMIF

@ voretaq7- मैंने हमारी संरचना पर एक इंटरफ़ेस डालने पर विचार किया है, लेकिन मुझे इसे पावरशेल में करने में कठिन समय होगा। पीएस सीखना मेरे लिए दर्दनाक रहा है, ज्यादातर क्योंकि यह अधिक संरचित भाषाओं से बहुत अलग व्यवहार है। यदि मैं इस पर एक इंटरफ़ेस डालता हूं, तो यह संभवतः C # में होगा।

— WMIF

Answer 1

आप वास्तव में एक मल्टिकास्ट फाइल ट्रांसफर प्रोग्राम चाहते हैं: UFTP , सभ्य दस्तावेज और नेट-राउटर ट्रैवर्सल के लिए प्रोक्स-स्टाइल एक्सटेंशन के साथ।

Comments

मैं अभी भी आपके द्वारा दिए गए लिंक के लिए दस्तावेज देख रहा हूं, लेकिन मैं अभी तक निचले स्तर के मल्टीकास्ट सामान का कोई उल्लेख नहीं देख रहा हूं। मेरा मतलब है कि, क्या यह अभी भी कुछ राउटर में चेन को स्थापित करने के लिए मल्टीकास्ट रीकॉन्वेज बिंदु पर निर्भर करता है? मैं अपने प्रवेश द्वार प्रदान करने के लिए स्थान पर भरोसा कर रहा हूं, इसलिए मेरे पास अपना केंद्रीय राउटर नहीं है जो इस फ़ंक्शन को प्रदान कर सके। क्या यूएफटीपी के पास सॉफ्टवेयर का अनुकरण करने का कोई तरीका है?

— WMIF

मल्टीकास्ट के साथ काम करते समय अक्सर मुझे मिलने वाले परिणामों का यह प्रकार है, और मैंने क्यों कहा कि मैं इससे दूर रहना चाहूंगा। serverfault.com/questions/56487/…

— WMIF

मैं उस प्रश्न के सॉफ़्टवेयर या हार्डवेयर से परिचित नहीं हूं, लेकिन मैंने अपने सेटअप में उस तरह के मुद्दों का अनुभव नहीं किया है। मल्टीकास्ट सबसे धीमी क्लाइंट की दर से चलेगा, इसलिए यदि आपके पास क्लाइंट गति के अलग-अलग "स्ट्रैटा" हैं, तो आप प्रत्येक स्ट्रैटम के लिए कई मल्टीकास्ट सत्र चलाने की इच्छा कर सकते हैं (अंतिम समापन समय को प्रभावित नहीं करता है, बस तेज कंप्यूटर को समाप्त करने की अनुमति देता है जितनी जल्दी)। इंटरमीडिएट स्विच और राउटर को मल्टीकास्ट का समर्थन करना पड़ता है, परदे के पीछे एक हद तक कम कर सकते हैं, लेकिन यदि आप प्रदर्शन चाहते हैं तो आपको एक विश्वसनीय / सक्षम नेटवर्क बुनियादी ढांचे की आवश्यकता होगी।

— क्रिस एस

इस सवाल के बुनियादी ढांचे के लिए शामिल स्विच सभी अप्रबंधित हैं। राउटर प्रत्येक स्थान के लिए अलग-अलग होंगे, और मैं गारंटी नहीं दे सकता कि वे मल्टीकास्ट का समर्थन करते हैं। क्या कोई ऐसा तरीका है जिससे मैं अपना राउटर साइड से लटका सकता हूं, लेकिन फिर भी इसके मल्टीकास्ट हिस्से के साथ शामिल होना चाहिए? मैं पूछता हूं क्योंकि मुझे नहीं लगता कि यह संभव है।

— WMIF

प्रबंधन सीधे मल्टीकास्ट के लिए एक स्विचिंग समर्थन को प्रभावित नहीं करता है। मल्टीकास्ट का समर्थन करने के लिए सभी 1 जीबी ईथरनेट स्विच की आवश्यकता होती है (हालांकि पुराने और विशेष रूप से सस्ते वाले इसे प्रसारण के रूप में लागू करते हैं, जो काम हो जाता है); पुराने स्विच आमतौर पर पहले से ही ऐसा करते थे। राउटर समर्थन की कमी के कारण आपको प्रॉक्सी सेटअप (प्रत्येक मल्टीकास्ट-आइसोलेटेड नेटवर्क सेगमेंट के लिए एक) की आवश्यकता होगी। स्पष्ट रूप से राउटर का उपयोग करना जो मल्टीकास्ट का समर्थन करता है सबसे आसान होगा, लेकिन प्रॉक्सी को कॉन्फ़िगर करना भयानक नहीं है (जब तक कि उनमें से एक बड़ी मात्रा नहीं है)।

— क्रिस एस

Answer 2

तुम हत्या में देखना चाहते हो सकता है

हत्या एक उत्पादन वातावरण के भीतर बड़ी मात्रा में सर्वरों को फाइल वितरित करने के लिए बिटोरेंट का उपयोग करने की एक विधि है। यह उन सैकड़ों-दसियों हज़ारों सर्वरों के वातावरण में स्केलेबल और फास्ट डिप्लॉयज़ के लिए अनुमति देता है जहाँ केंद्रीकृत वितरण सिस्टम अन्यथा कार्य नहीं करेंगे

।

हत्या को ट्विटर पर लोगों द्वारा विकसित किया गया था , और वे इसे फ़ाइलों को वितरित करने के लिए दैनिक उपयोग कर रहे हैं।

Answer 3

एक नया समाधान दिखाई दे सकता है: बिटटोरेंट सिंक

बाद में संपादित करें: वास्तव में इन दिनों मैं शायद गिट-एनेक्स सहायक या सिन्क्थिंग की सिफारिश करूंगा लेकिन कई विकल्प हैं

Comments

न केवल एक और एक बल्कि इस उपयोग के मामले में एक बहुत अच्छा एक मुझे लगता है!

— अर्गमन

मैं सहमत हूँ। मैं इस पर पाया /। और मैं वर्तमान में यह देखने के लिए कुछ परीक्षण परिदृश्य स्थापित कर रहा हूं कि क्या यह उतना अच्छा काम करेगा जितना यह लगता है।

— WMIF

मैंने बीटी सिंक के साथ एक बड़े पैमाने पर परीक्षण किया, और पता चला कि यह मल्टीकास्ट प्रसारण-ईश ट्रैफिक के लिए 239.192.0.0 का उपयोग करता है। नेटवर्क इंफ्रास्ट्रक्चर पर मेरा कोई नियंत्रण नहीं था इसलिए मैं पूरी तरह से विश्लेषण करने में सक्षम नहीं था, लेकिन इससे आउटबाउंड इंटरनेट ट्रैफ़िक में ध्यान देने योग्य उछाल आ रहा था। मिसमैच के मुद्दों को समेटते हुए कुछ सामान्य फ़ाइल के साथ संयुक्त, और इसने पर्याप्त समस्या पैदा कर दी कि मुझे इसे बंद करना पड़ा। दुर्भाग्यपूर्ण है क्योंकि यह 50 से कम कंप्यूटरों पर छोटे पैमाने पर खूबसूरती से काम कर रहा था।

— डब्ल्यूएमआईएफ

Answer 4

मेरे पास आपके लिए एक विचार हो सकता है जो मदद करेगा। मुझे क्षमा करें क्योंकि मुझे पूरी तरह से समझ में नहीं आता है कि यह इतना जटिल क्यों है, लेकिन अगर आपकी आवश्यकता इसे अंतिम उपयोगकर्ता के लिए सरल रखना है और फिर भी डेटा को लैन के अंदर पहुंचने के लिए त्वरित और आसान बनाना है, तो शायद आप एक के साथ जा सकते हैं एनएएस डिवाइस। मेरे पास एक Synology DS1812 + है, यह एक अन्य Synology ड्राइव या विभिन्न RSYNC सक्षम उपकरणों के साथ RSYNC कर सकता है, इसमें "डाउनलोड स्टेशन" नामक एक बिट टोरेंट सक्षम अनुप्रयोग है, मुझे पता है कि आप ड्राइव बे से टोरेंट फाइल डाउनलोड कर सकते हैं और मुझे विश्वास है कि आप भी बना सकते हैं या आप भी कर सकते हैं उस एप्लिकेशन के साथ एक टोरेंट फ़ाइल पोस्ट करें जिससे दूसरों को उनकी ज़रूरत की फ़ाइल डाउनलोड करने की अनुमति मिल सके। इसमें ऐपल और एंड्रॉइड दोनों तरह के मोबाइल डिवाइस के ऐप हैं। यह FTP ट्रांसफर भी कर सकता है। यह ड्राइव बे आपको तुरंत एक फ़ाइल भेजने की क्षमता प्रदान कर सकता है और फिर इसे LAN के बीच जल्दी और आसानी से फैला सकता है। मेरा सुझाव है कि लैन के अंदर डेटा को सिर्फ लैन उपयोगकर्ताओं के लिए तेजी से पहुंच बनाने के लिए, लेकिन इन एनएएस उपकरणों की सुंदरता यह है कि आप उन्हें ऑनलाइन कहीं भी डाल सकते हैं जब तक कि उनके पास तेज इंटरनेट कनेक्शन है। शायद उच्च अंत Synology NAS उपकरणों में से एक आपकी आवश्यकताओं के लिए एक अच्छा फिट होगा।

Synology का एक आभासी इंटरफ़ेस है जिसे आप देख सकते हैं कि यह आपको एक बेहतर विचार दे सकता है यदि यह आपके लिए उपयोगी होगा। मैं नीचे दिए गए लिंक को वर्चुअल इंटरफ़ेस से चिपकाऊंगा

http://www.synology.com/products/dsm_livedemo.php?lang=us

यह डिवाइस लोगों को वेब इंटरफेस या मोबाइल डिवाइस एप्लिकेशन के माध्यम से अपने डेटा तक पहुंचने की क्षमता भी देता है।

मुझे आशा है कि यह मदद करता है और जैसे मैंने कहा था, मुझे माफ कर दो अगर मुझे सवाल ठीक से समझ में नहीं आता है।

Comments

मुझे यकीन नहीं है कि अब वह जो कर रही है, उससे बेहतर कैसे है। WMIF उपयोगकर्ताओं को स्वयं डेटा प्राप्त करने के लिए शुरू करने के लिए इंतजार नहीं करना चाहता है; उनकी टीम को मशीनों पर डेटा-फ़ाइल्स को प्री-स्टेज करने की उम्मीद है क्योंकि यह उनके लिए उपलब्ध है।

— mfinni

@mfinni सही है। काम यह सुनिश्चित करने के लिए है कि जो फाइलें हमें दी गई हैं, वे सभी सम्मेलन कक्ष के कंप्यूटर पर उपस्थित लोगों के कमरे में पैर सेट करने से पहले भरी हुई हैं।

— WMIF