महाद्वीपों के बीच बड़ी मात्रा में डेटा का स्थानांतरण [डुप्लिकेट]

Question

संभव डुप्लिकेट:
इंटरनेट पर बड़ी फ़ाइलों को साझा करने का स्वतंत्र तरीका?
इंटरनेट का उपयोग किए बिना बड़ी फ़ाइलों को स्थानांतरित करने के लिए कुछ विकल्प क्या हैं?

मेरी पत्नी की लैब अमेरिका में सिंगापुर में सहयोगियों के साथ एक परियोजना कर रही है। उन्हें कभी-कभी महाद्वीपों में बड़ी मात्रा में उच्च-आयामी छवि डेटा (~ 10 जीबी संपीड़ित) को स्थानांतरित करने की आवश्यकता होती है। वर्तमान तकनीकों के साथ, इस उपयोग परिदृश्य के लिए एक अच्छा समाधान क्या होगा?

मैं कुछ सोच सकता हूं लेकिन उनमें से कोई भी आदर्श नहीं लगता है:

• इंटरनेट के माध्यम से सीधा संबंध: हस्तांतरण दर लगभग 500KB / s है, इसमें त्रुटियों / retransmissions को संभालने के लिए एक उपकरण का भी अभाव है।
• एक सामान्य सर्वर या सेवा जैसे ड्रॉपबॉक्स पर अपलोड करें: गैर-अमेरिकी सहयोगी के लिए अपलोड करने के लिए दर्दनाक।
• जलती हुई डिस्क या HD की प्रतिलिपि बनाना और कूरियर के माध्यम से शिपिंग करना: विलंबता महत्वपूर्ण है, और एक स्थानीय प्रतिलिपि बनाने के लिए अतिरिक्त काम।

कोई सुझाव?

अपडेट: सहयोग की कोई भी पार्टी तकनीक-प्रेमी उपयोगकर्ता नहीं हैं।

Comments

चित्र के रूप में छवि, या एक डीवीडी का प्रतिनिधित्व करने वाली फ़ाइल के रूप में छवि?

— डैनियल बेक

सूक्ष्मदर्शी द्वारा उत्पन्न उच्च आयामी चित्र।

— फ्रैंक

तो यह कई बहुत बड़ी फाइलें हैं? क्या आप हमें फ़ाइल गणना, व्यक्तिगत फ़ाइल आकार और स्थानान्तरण के बीच उन परिवर्तनों में से कितनी जानकारी दे सकते हैं? क्या यह उन सभी में से कुछ है, आदि।

— डैनियल बेक

कुछ डीएनए सीक्वेंसर ने तय किया है कि फेडएक्स दुनिया भर में अपने निषेधात्मक बड़ी मात्रा में डेटा भेजने का सबसे तेज़ तरीका है ।

— २२:०२ पर joshuahedlund

ध्वनि के लिए एक नौकरी की तरह sneakernet या IPoAC ।

— नत्फ़ुली के

Answer 1

मेरा सुझाव है कि आप rsync का उपयोग करें । Rsync डेल्टा-ट्रांसफ़र एल्गोरिथ्म का समर्थन करता है, इसलिए यदि आपकी फ़ाइलें केवल आंशिक रूप से बदली गई हैं, या यदि पिछले स्थानांतरण को असामान्य रूप से समाप्त कर दिया गया है, तो रुपी सिंक केवल स्मार्ट है जो कि नया / परिवर्तित है।

Windows और मूल और गैर-यूनिक्स-संगत प्रणालियों के लिए मूल रुमाल के कई बंदरगाह हैं, दोनों मुफ्त और गैर-मुक्त। कृपया विवरण के लिए रुपी विकिपीडिया लेख देखें।

SSH पर रुपी सिंक बहुत व्यापक रूप से उपयोग किया जाता है, और अच्छी तरह से काम करता है। 10GB अपेक्षाकृत कम डेटा आजकल होता है, और आपने "कभी-कभी" का अर्थ नहीं बताया। साप्ताहिक? रोज? हर घंटे का? 500KB / सेकंड ट्रांसफर दर के साथ लगभग 6 घंटे लगेंगे, वास्तव में लंबे समय तक नहीं। यदि आपको बार-बार डेटा ट्रांसफर करने की आवश्यकता है, तो rsync को स्वचालित रूप से शुरू करने के लिए क्रोन कार्य बनाना बेहतर है।

Comments

rsyncडेल्टा के लिए अपने स्वयं के प्रोटोकॉल की आवश्यकता नहीं है, दूसरे छोर पर एक सक्षम समकक्ष प्रणाली की आवश्यकता है?

— डैनियल बेक

@DanielBeck: डॉक्स में ऐसा कुछ भी नहीं है जो यह कहता हो कि SSH पर rsync डेल्टाकैपी का उपयोग नहीं कर सकता ... मूल रूप से rsync क्लाइंट ssh के माध्यम से सर्वर पर किसी अन्य rsync कॉपी को निष्पादित करता है, इसलिए मैं यह नहीं देखता कि वह काम क्यों नहीं करेगा।

— ९

+1 आपके पास एक बिंदु है। हालांकि सर्वर पर लिनक्स आवश्यकता छोड़ देता है?

— डैनियल बेक

क्या rsyncबाइनरी संपीड़ित डेटा ( .zipया .jpg) को स्थानांतरित करते समय डेल्टा-एल्गोरिदम काम करता है ?

— आदित्य

@DanielBeck: मैंने कई विंडोज rsync पोर्ट के साथ विकिपीडिया लेख का लिंक जोड़ा है। जाहिर है उनमें से कम से कम कुछ सर्वर के रूप में काम करते हैं, जिसमें ssh भी शामिल है। हालांकि मैंने उनमें से किसी का भी उपयोग नहीं किया है।

— 21

Answer 2

इंटरनेट पर कनेक्शन एक व्यवहार्य विकल्प हो सकता है और बिटोरेंट जैसे एक कार्यक्रम इस उद्देश्य के लिए बिल्कुल अनुकूल है क्योंकि यह दूसरे छोर पर खंगाले जाने के लिए इंटरनेट पर भेजे जाने वाली तार्किक टुकड़ों में फ़ाइलों को तोड़ देगा।

बिटटोरेंट आपको स्वचालित त्रुटि सुधार, क्षतिग्रस्त टुकड़ों की मरम्मत और यदि अधिक लोगों को फ़ाइलों की आवश्यकता है, तो उन्हें फ़ाइल के रूप में कई स्रोतों से फ़ाइल की आपूर्ति होने में सक्षम होने का लाभ मिलेगा, जो पहले से डाउनलोड की गई फ़ाइल के कुछ हिस्सों (भागों) में है।

दीक्षित लोग इसे फिल्मों को डाउनलोड करने के लिए एक अच्छे तरीके के रूप में देखते हैं और इस तरह, लेकिन इसके कई और कानूनी उपयोग हैं।

बहुत सारे बिटटोरेंट क्लाइंट भी ट्रैकर्स में बनाए गए हैं ताकि आपके पास फ़ाइलों को होस्ट करने के लिए एक समर्पित सर्वर न हो।

Comments

इनपुट के लिए धन्यवाद। शैक्षणिक नेटवर्क के भीतर बिटटोरेंट का उपयोग उनके प्रशासकों को परेशान कर सकता है। इसके अलावा, ट्रैकर सर्वर की स्थापना और रखरखाव एक औसत कंप्यूटर उपयोगकर्ता के लिए उतना आसान नहीं हो सकता है।

— फ्रैंक

यह एक अच्छा बिंदु है, कई कॉर्पोरेट और शैक्षणिक नेटवर्क में बिटोरेंट सक्रिय रूप से निषिद्ध है। उचित प्रशासन के साथ यद्यपि आप उन उपयोगकर्ताओं या मशीनों के नेटवर्क के भीतर एक श्वेत सूची स्थापित कर सकते हैं जिन्हें बिटोरेंट का उपयोग करने की अनुमति है, हालांकि इसका अर्थ होगा संबंधित आईटी विभागों के साथ ठीक से काम करना। जैसा कि मैंने उल्लेख किया है कि जरूरी नहीं कि आपके पास एक समर्पित सर्वर होना चाहिए क्योंकि इसे कई क्लाइंट प्रोग्रामों में बनाया जा सकता है। यदि यह आपकी स्थिति के लिए एक अच्छा फिट नहीं है, तो फिर कोई चिंता नहीं है, यह सिर्फ मुझे आपकी आवश्यकताओं को देखते हुए उचित प्रतीत होता है।

— Mokubai

आप BiTorrent उपयोग कर रहे थे, यह भी एक चतुर विचार की तरह एक Webseed ध्वनियों का प्रयोग करते हैं

— जर्नीमैन गीक

(उत्तर में वर्णित 'अधिक कानूनी उपयोगों' में से एक के एक उदाहरण के रूप में, फेसबुक हजारों उत्पादन सर्वरों को अपनी साइट, 1 जीबी बाइनरी को तैनात करने के लिए बिटोरेंट का उपयोग करता है। यह दुर्भाग्यपूर्ण है कि एक प्रौद्योगिकी को इसके उपयोगों के कारण ज्यादातर त्याग दिया जाता है।)

— एंटोन स्ट्रोगोनॉफ

Answer 3

50MB जैसे (जैसे का उपयोग करके split) के विखंडू में फ़ाइल को विभाजित करें । उन सभी के लिए चेकसम की गणना (जैसे md5sum)। एफ़टीपी और एक त्रुटि-सहिष्णु एफ़टीपी क्लाइंट का उपयोग करके सीधे अपलोड करें, जैसे कि lftpलिनक्स पर। सभी चेकसमों और सभी चेकसमों वाली फ़ाइल को स्थानांतरित करें।

दूरस्थ साइट पर, सत्यापित करें कि सभी विखंडनों में वांछित चेकसम है, जो कि विफल रहे, उन्हें पुनः लोड करें और उन्हें मूल फ़ाइल (जैसे का उपयोग करके cat) को पुन: एकत्र करें ।

सर्वर का स्थान वापस करें (मैंने इस धारणा के तहत पोस्ट किया कि गंतव्य साइट सर्वर प्रदान करती है और आप फ़ाइलों को आवश्यकतानुसार तैयार होने पर स्थानीय रूप से स्थानांतरण शुरू करते हैं। आपके एफ़टीपी क्लाइंट को परवाह नहीं करनी चाहिए।

---

मेरे पास अतीत में इसी तरह के मुद्दे आए हैं और एक त्रुटि-सहिष्णु एफ़टीपी क्लाइंट ने काम किया है। कोई भी बिट फ़्लिप नहीं किया गया था, बस नियमित कनेक्शन गर्भपात, इसलिए मैं विखंडू बनाना छोड़ सकता हूं और बस फ़ाइल अपलोड कर सकता हूं। हमने अभी भी पूरी फ़ाइल के लिए एक चेकसम प्रदान किया है, बस मामले में।

Comments

आपको जागरूक होने की आवश्यकता है, लेकिन यह किसी भी कारण से lftpप्रगति में स्थानांतरण को समाप्त नहीं करता है । सुनिश्चित करें कि आपके पास गंतव्य स्थान पर हमेशा पर्याप्त डिस्क स्थान है।

— डैनियल बेक

Answer 4

डैनियल बेक के उत्तर की भिन्नता 50MB से 200MB के क्रम में चंक्स में फ़ाइलों को विभाजित करने और पूरे सेट के लिए समता फ़ाइलें बनाने के लिए है।

अब आप एफ़टीपी, एससीपी या कुछ और के साथ फ़ाइलों को दूरस्थ साइट पर स्थानांतरित कर सकते हैं और पूरे सेट के आने के बाद एक चेक कर सकते हैं। अब अगर वहाँ क्षतिग्रस्त भागों हैं अगर वे पर्याप्त ब्लॉक हैं समता फ़ाइलों द्वारा तय किया जा सकता है। यह कमोबेश इस बात पर निर्भर करता है कि कितनी फाइलें क्षतिग्रस्त हुई हैं और आपने कितनी समानता फाइलें बनाई हैं।

बड़ी फ़ाइलों को भेजने के लिए यूज़नेट पर समानता फ़ाइलों का उपयोग किया जाता है। अधिकांश समय वे आरएआर अभिलेखागार के रूप में विभाजित होते हैं। इस तरह से 50 से 60GB तक डेटा भेजना असामान्य नहीं है।

आपको निश्चित रूप से पहले लिंक की जांच करनी चाहिए और आप क्विकर पर एक नज़र भी डाल सकते हैं , एक उपकरण जो पैरिटी फ़ाइलों को बनाने के लिए उपयोग किया जा सकता है, आपकी डाउनलोड की गई फ़ाइलों की पुष्टि करता है और यहां तक ​​कि प्रदान की गई समानता फ़ाइलों के साथ क्षतिग्रस्त फ़ाइलों को पुनर्स्थापित भी कर सकता है।

Comments

+1 - यह दृष्टिकोण usenet पर अच्छी तरह से काम करता है, और समता फ़ाइलें गुम डेटा की आश्चर्यजनक मात्रा को ठीक कर सकती हैं। नीचे समता फ़ाइलों को विभाजित करने और उत्पन्न करने और पुनरावृत्ति के बाद फ़ाइलों को समता और निकालने के लिए प्रसंस्करण समय की आवश्यकता होती है।

— deizel

Answer 5

क्या यह एक बड़ी 10GB फ़ाइल है? क्या इसे आसानी से विभाजित किया जा सकता है?

मैंने इससे ज्यादा नहीं खेला, लेकिन इसने मुझे एक दिलचस्प और अपेक्षाकृत सरल अवधारणा के रूप में मारा, जो इस स्थिति में काम कर सकती है:

http://sendoid.com/

Comments

Sendoid बहुत अच्छा है, लेकिन दुर्भाग्य से अपलोड करना अभी भी दर्दनाक होने वाला है। फिर से, समस्या सभी प्रकारों के लिए बनी रहती है, जो मुझे विश्वास है, जब तक कि आप एचडीडी को मेल नहीं करेंगे। +1 का उपयोग करना आसान है।

— डीमन

Answer 6

Ftp / http / https / sftp / ftps (लॉगऑन क्रेडेंशियल की आवश्यकता) के माध्यम से डेटा उपलब्ध कराएं और क्लाइंट साइड पर किसी भी डाउनलोड प्रबंधक का उपयोग करें ।

डाउनलोड प्रबंधक विशेष रूप से किसी भी त्रुटि के बावजूद डेटा प्राप्त करने के लिए डिज़ाइन किए गए हैं, ताकि वे आदर्श रूप से आपके कार्य को फिट कर सकें।

सर्वर के लिए, एफ़टीपी सर्वर आमतौर पर स्थापित करने के लिए सबसे आसान है। आप विकिपीडिया पर एक सूची से परामर्श कर सकते हैं । HTTPS, SFTP और FTPS एन्क्रिप्शन की अनुमति देता है (शुद्ध एफ़टीपी / एचटीटीपी में, पासवर्ड स्पष्ट पाठ में भेजा जाता है) लेकिन एसएफटीपी / एफटीपीएस क्लाइंट सॉफ़्टवेयर द्वारा आमतौर पर कम समर्थित होते हैं और एचटीटीपी / एचटीटीपीएस सर्वर सेटअप मुश्किल है।

Comments

Http या ftp का उपयोग करने में समस्या यह है कि कोई भी ट्रांसमिशन त्रुटियां हैं, आपको पूरी बात फिर से भेजनी होगी। rsync, bittorrent, और अन्य प्रोटोकॉल यह सत्यापित कर सकते हैं कि फाइलें मेल खाती हैं और केवल क्षतिग्रस्त टुकड़ों को फिर से जमा करती हैं। QuickPar की तरह समानता डेटा भी मदद कर सकता है।

— 1

एफ़टीपी और एचटीटीपी दोनों में एक वैकल्पिक विस्तार के रूप में एक स्थानांतरण पुनरारंभ क्षमता शामिल है जो कि अधिकांश सर्वर और लगभग सभी डाउनलोड प्रबंधकों द्वारा समर्थित है।

— ivan_pozdeev

वे फिर से शुरू कर सकते हैं , और सैद्धांतिक रूप से टीसीपी सुनिश्चित करता है कि डेटा क्रम में और एक वैध चेकसम के साथ आता है। हालांकि, जिस किसी के पास एक बड़ा HTTP या FTP ट्रांसफ़र हुआ है, उसने अधिक मजबूत प्रोटोकॉल या किसी प्रकार के ECC के मूल्य को सीखा है।

— 3