विंडोज नेटवर्क के माध्यम से बड़ी फ़ाइल को स्थानांतरित करने का सबसे सरल और तेज़ तरीका क्या है?

Question

मेरे पास एक विंडो सर्वर 2000 मशीन है जो एमएस SQL ​​सर्वर चलाती है जो 20GB से अधिक डेटा स्टोर करती है। हर दिन दूसरी हार्डड्राइव के लिए डेटाबेस का बैकअप लिया जाता है। मैं एक और परीक्षण सर्वर बनाने के लिए और पुनर्प्राप्ति अभ्यास के लिए उन बैकअप फ़ाइलों को दूसरे कंप्यूटर पर स्थानांतरित करना चाहता हूं। (बैकअप वास्तव में लगभग 5 वर्षों के लिए बहाल नहीं हुआ है। मेरे बॉस को उसके बारे में न बताएं!)

मुझे उस विशाल फ़ाइल को नेटवर्क के माध्यम से स्थानांतरित करने में समस्या है। मैंने प्लेन नेटवर्क कॉपी, अपाचे डाउनलोड और एफटीपी की कोशिश की है। डेटा ट्रांसफर की मात्रा 2GB तक पहुंचने पर मैंने किसी भी तरीके को विफल करने की कोशिश की। पिछली बार जब मैंने फ़ाइल को सफलतापूर्वक स्थानांतरित किया था, तो यह एक USB संलग्न बाहरी हार्डड्राइव के माध्यम से था। लेकिन मैं इस कार्य को नियमित रूप से और अधिमानतः स्वचालित रूप से करना चाहता हूं।

आश्चर्य है कि इस स्थिति के लिए सबसे व्यावहारिक दृष्टिकोण क्या है?

Comments

उस डिस्क पर आप किस फ़ाइल सिस्टम का उपयोग कर रहे हैं जिसे आप स्थानांतरित कर रहे हैं?

— मार्को कार्टर

NTFS। क्या वह मामला है?

— Sake

यह इसलिए मायने रखता है क्योंकि लक्ष्य फाइलसिस्टम में 2GB फ़ाइल आकार की सीमा हो सकती है जो आपकी त्रुटि का कारण हमेशा 2GB हो सकती है। लेकिन यह NTFS है, इसलिए यह शायद नहीं है :)

— लुकास

हाँ, मैं शर्त लगाता हूँ कि यह वास्तव में NTFS नहीं है।

— ब्रेंट ओजर

Answer 1

लक्ष्य फ़ाइल सिस्टम की तरह लगता है कि 2Gb पर एक विफलता पूर्वानुमानित है ... दोनों NTFS पर हैं? क्या आप किसी कंप्रेशन के माध्यम से पाइपिंग कर रहे हैं (2gb सीमाओं पर विफल होने के लिए इस्तेमाल किया जाने वाला ज़िप) ((अपाचे कम्प्रेशन कर रहा है)

मैंने 20Gb से अधिक की फाइल को लूट लिया है।

SMB एक समय सीमा में एक पैकेट से ग्रस्त है इसलिए फ़ाइलों को कॉपी करने का अक्सर धीमा तरीका है - आपके पास पुश या पुल का उपयोग करके कॉपी करने का विकल्प है। व्यक्तिगत रूप से, मैं पुश विधि को पसंद करता हूं (प्रतिलिपि स्रोत द्वारा शुरू की गई है)।

Comments

पूर्णतया सहमत। 2GB FAT फाइलसिस्टम के लिए एक आम अड़चन है। मैं वास्तव में बारीकी से जाँच करूँगा कि आप किसी FAT फाइलसिस्टम को कॉपी करने की कोशिश नहीं कर रहे हैं।

— ब्रेंट ओजर

मैंने सोचा था कि 4 जीबी था?

— जर्नीमैन गीक

Answer 2

MS Exchange उपकरण eseutil नेटवर्क पर बड़ी फ़ाइलों को तेज़ी से कॉपी करने के लिए एक उत्कृष्ट उपयोगिता है:

eseutil / y source_file / d dest_file।

Comments

+1 कभी भी एक्सचेंज के अलावा किसी और चीज़ के लिए इस्तेमाल करने के लिए नहीं सोचा! मुझे वह भँवर देनी पड़ेगी।

— स्क्विलमैन

से technet.microsoft.com/en-us/library/aa998673(EXCHG.80).aspx "एक्सचेंज सर्वर डाटाबेस उपयोगिताएँ (Eseutil.exe) / वाई प्रतिलिपि फ़ाइल मोड कुशलतापूर्वक बहुत बड़ी फ़ाइलों की प्रतिलिपि बनाने के लिए अनुकूलित है। आप उपयोग कर सकते हैं / Y एक डेटाबेस फ़ाइल या लॉग फ़ाइल की प्रतिलिपि बनाने के लिए स्विच। हालांकि, मोड एक सामान्य उद्देश्य कॉपी उपयोगिता के रूप में उपयुक्त नहीं है "

— Goyuix

+1, यह शायद एक डेटाबेस रखरखाव उपयोगिता का सबसे भयानक पक्ष प्रभाव है जिसके बारे में कभी सुना है!

— मैसिमो

Answer 3

मैं अत्यधिक मुफ्त उपयोगिता रिचकोपी का उपयोग करने की सलाह देता हूं । यह मल्टीथ्रेडेड है और फाइल कॉपी ऑपरेशंस को रोक और फिर से शुरू कर सकता है। मैं बहुत अच्छी किस्मत यह है कि इसे severs के बीच फ़ाइलों को स्थानांतरित करने के लिए उपयोग कर रहा था।

रिचकोपी का उपयोग करने के लिए मेरी तीन शीर्ष युक्तियाँ

1. यदि आप एक या कुछ बड़ी फ़ाइलों की प्रतिलिपि बना रहे हैं, तो 'फ़ाइल कॉपी' विशेषता को '1' से अधिक पर सेट करें। यह संसाधनों का उपयोग करता है लेकिन बड़ी फ़ाइलों को जल्दी से कॉपी करता है

2. यदि आप बहुत सारी फाइलों को कॉपी कर रहे हैं तो 'थ्रेड नंबर' की विशेषताओं को 10-10-1 पर सेट करें। यह कई फाइलों को जल्दी कॉपी करेगा

3. यदि आप एक डोडी कनेक्शन पर नकल कर रहे हैं। आप डाउनलोड को फिर से चला सकते हैं और यह उन फाइलों को खोजेगा, जिन्हें पहली बार प्राप्त करने का प्रबंधन नहीं किया था।

http://blogs.technet.com/markdea/archive/2009/03/24/richcopy-is-it-the-new-sliced-bread.aspx

Answer 4

जहाँ तक फ़ाइल कॉपी यूटिलिटीज़ जाने की बात है, TeraCopy एक अच्छी GUI- आधारित (कमांड लाइन नहीं) है जो बहुत सारी फ़ाइलों को कतारबद्ध कर सकती है, रुकने और फिर से शुरू होने का समर्थन करती है, गति को अनुकूलित करने के लिए अपने बफर आकार को गतिशील रूप से बदल सकती है, और वैकल्पिक रूप से Windows Explorer के डिफ़ॉल्ट को बदल सकती है कॉपी / अपने साथ ले जाएँ।

Answer 5

मशीनों के बीच त्वरित और गंदे बैकअप के लिए / MIR विकल्प के साथ Robocopy बहुत उपयोगी है। आप Windows Server 200X Resouce Kit में रोबोकॉपी पा सकते हैं

MIR एक निर्देशिका की सामग्री को दूसरे सर्वर पर MIRror करेगा। यह केवल उन फ़ाइलों की प्रतिलिपि करेगा जो बदल गए हैं।

Comments

/ Z भी एक मीठा विकल्प है। यह आपको विफल प्रतियों को फिर से शुरू करने देता है। इसने धीमे नेटवर्क पर मेरी जान बचाई है

— निक कवडियास

Answer 6

बड़ी SQL सर्वर बैकअप फ़ाइलों के बार-बार फेरबदल का सबसे व्यावहारिक समाधान तीसरे पक्ष के बैकअप संपीड़न उत्पाद या SQL Server 2008 एंटरप्राइज़ संस्करण के अंतर्निहित बैकअप संपीड़न का उपयोग करना है।

वहाँ विभिन्न विक्रेताओं से कई वहाँ है। मैं क्वेस्ट सॉफ्टवेयर, लाइटस्पेड के निर्माताओं के लिए काम करता हूं, लेकिन मैं यहां कुछ भी बेचने के लिए नहीं हूं। आप वहां से सभी उत्पादों को देखना चाहते हैं और यह तय करना चाहते हैं कि आपकी आवश्यकताओं के लिए सबसे अच्छा क्या है। यहाँ हाल ही में ब्लॉग पोस्ट के बारे में बात कर रहा है विशेष रूप से LiteSpeed, लेकिन एक ही अवधारणा अन्य उत्पादों पर भी लागू होती है:

http://blogs.lessthandot.com/index.php/DataMgmt/DBAdmin/title-8

Answer 7

क्या आप फ़ाइल को LAN पर या ADSL जैसे कुछ WAN कनेक्शन के माध्यम से कॉपी कर रहे हैं? मुझे लगता है कि यह एक वैन है क्योंकि 20GB एक लैन पर कॉपी करने के लिए एक बड़ी फाइल नहीं है। मैं हर दिन कई ऐसी फाइलों की नकल करता हूं।

यदि यह एक WAN कनेक्शन है, तो जिस तरह से मैं करता हूं वह rsync के सिगविन संस्करण का उपयोग करना है।

जे आर

Answer 8

मेरे पास 2GB मार्क पर नेटवर्क ट्रांसफ़र फेल था - यह एक दोषपूर्ण एनआईसी निकला।

Comments

दोषपूर्ण एनआईसी हमेशा 2GB के आसपास विफल रही? अजीब!

— लुकास

शायद इस एनआईसी ने इसमें एक बग के साथ टीसीपी को हार्डवेयर में तेजी दी थी?

— क्यूबेक

मुझे 100% यकीन नहीं है कि एनआईसी खुद में क्या गलत था, लेकिन यह ईबे से एक अनब्रांडेड मामला था - जैसे ही मैंने इसे प्रतिस्थापित किया, कनेक्टिविटी में कोई गिरावट नहीं के साथ नेटवर्क ट्रांसफर में बहुत सुधार हुआ।

— लाज्लो

Answer 9

मैं फ़ाइलों को आपके से कई गुना बड़ा स्थानांतरित करने के लिए प्रतिदिन सिंकबैक ( http://www.2brightsparks.com/syncback/sbse.html ) का उपयोग करता हूं । इसके साथ कभी समस्या नहीं हुई।

Answer 10

यह थोड़ा देर से है, लेकिन मैं एक 3 पार्टी बैकअप की सिफारिश करूंगा और एप्लिकेशन विकल्प को पुनर्स्थापित करूंगा। हम Red Gate SQL Backup ( www.red-gate.com ) का उपयोग करते हैं, इसमें GUI में संपीड़न और वैकल्पिक स्थान विकल्प हैं। मुझे 80% औसत की बचत मिलती है - इसलिए आप केवल वास्तविक db आकार का 20% स्थानांतरण करते हैं। यह एन्क्रिप्शन का भी समर्थन करता है इसलिए इसे बिना किसी अवरोधक चिंता के WAN के ऊपर इस्तेमाल किया जा सकता है।

इसका पूरी तरह से समय-सारिणी आपके चयन के एक चक्र पर स्वचालित रूप से चल सकती है।

जीयूआई आपको लॉग शिपिंग को कॉन्फ़िगर और प्रशासन करने की अनुमति भी देता है।

नि: शुल्क परीक्षण संस्करण ऊपर उपलब्ध है।

Answer 11

मेरे पास इतनी बड़ी फ़ाइल के साथ अनुभव नहीं है, लेकिन क्या आप / z विकल्प के साथ रोबोकॉपी या यहां तक ​​कि xcopy का उपयोग कर सकते हैं जो पुनः आरंभ होने का दावा करता है। ऐसा लगता है कि यह बड़ी फ़ाइल प्रतियों के लिए अभिप्रेत है जहाँ नेटवर्क विश्वसनीय नहीं है।

Answer 12

मैं अच्छी तरह से 1gb पर रोबोकॉपी का उपयोग किया है और कोई समस्या नहीं थी। ss64.com में स्विच की अच्छी व्याख्या है। हालांकि मैं लिंक पोस्ट नहीं कर सकता :-(

Answer 13

दुष्ट उत्तर ।।

नेटकैट का प्रयोग करें । फ़ाइलों को स्थानांतरित करने के लिए एक यूनिक्स उन्मुख ट्यूटोरियल यहां पाया जा सकता है । आप चीजों को और तेज कर सकते हैं:

1. गंतव्य पक्ष पर प्रेषक पक्ष और डीकंप्रेस पर संपीड़ित करें। (कमांड लाइनों के बीच में gzip के बराबर चक खिड़कियां।)
2. Tcp के बजाय udp के माध्यम से डेटा भेजने का चयन करें (हे आदमी, जो डेटा अखंडता की परवाह करता है ??) !!

एक तरफ मजाक करते हुए, netcat एक लैन पर बड़ी फ़ाइलों को स्थानांतरित करने का सबसे तेज़ तरीका है। जैसा कि कोई चेकसम नहीं किया गया है, आप इसे भेजने से पहले फ़ाइल का एमडी 5 योग करना चाहते हैं और इसे प्राप्त फ़ाइल के एमडी 5 योग से तुलना कर सकते हैं।

मैंने इस तरह से netcat का बहुत उपयोग किया है, कभी भी इसे विफल नहीं देखा, कभी भी इसे नेटवर्क से अधिकतम करने में विफल नहीं देखा।

Comments

हो सकता है कि Netcat उपयोग में आसान और त्वरित हो, लेकिन मैंने इसके साथ कोई उच्च गति प्राप्त नहीं की थी। IIRC यह मुश्किल से 2-3 एमबी / एस तक पहुंच सकता है। जब यह गति की बात आती है तो यह बहुत ज्यादा चूसता है।

— क्रिस्टियन सियुपिटु

मुझे लगता है कि कुछ प्रदर्शन परीक्षण चल रहे हैं ... मैं देखूंगा कि क्या मुझे अपने स्थानीय घरेलू नेटवर्क पर nfs, cif, ftp और nc की तुलना करने का समय मिल सकता है।

— मैथ्यू

अगर netcat आपको केवल 2-3MB / s दे रहा है तो आपका सिस्टम टूट गया है। ftp और netcat दोनों को समान रूप से प्रदर्शन करना चाहिए। nfs और cifs भी आमतौर पर उसी के बारे में होते हैं।

— जस्टिन

Answer 14

जब तक आप समस्या को इंगित नहीं कर सकते, तब तक एक छोटी अवधि के समाधान के रूप में फ़ाइल को छोटे टुकड़ों में विभाजित करने के लायक हो सकता है। हमारे पास अतीत में इसी तरह की समस्याएं थीं, और एफटीपी ने हमेशा हमारे लिए काम किया है

Answer 15

यदि ये SQL .bak फाइलें हैं जिन्हें आप कॉपी कर रहे हैं, तो मैं अत्यधिक सुझाव दूंगा कि निम्न में से एक को कॉपी करने से पहले अपनी फ़ाइलों को सिकोड़ें:

• डेटाबेस को सिकोड़ें और बैकअप चलाने से पहले लॉग को छोटा करें। या
• प्रतिलिपि करने से पहले .bak फ़ाइल को संपीड़ित करें। यदि आप डेटा और लॉग फ़ाइलों में पूरी तरह से आवंटित स्थान का उपयोग नहीं कर रहे हैं, तो SQL .bak फाइलें नीचे की ओर संकुचित हो जाती हैं।

बड़ी फ़ाइलों की प्रतिलिपि बनाने के लिए वैकल्पिक विधि की आवश्यकता को समाप्त कर सकता है।

Comments

मैंने वह कोशिश की है। दुर्भाग्य से ज्यादा मदद नहीं मिली।

— Sake

बस जिज्ञासा से बाहर, तो ... क्या आपके पास अपना ऑटोग्रॉथ एक कठिन बाइट मूल्य या एक% पर सेट है? या क्या आपके पास भी ऑटोग्रॉ करने के लिए सेट है?

— स्क्विलमैन

Answer 16

मुझे नहीं लगता कि तेजी से ट्रांसफर करने के लिए कुछ खोजना आपकी समस्या है, यह सुनिश्चित करने के लिए कि आपके लक्षित फ़ाइल सिस्टम FAT नहीं है, जैसा कि दूसरों ने कहा है, दोहरी जांच करें। इसके अलावा, सुनिश्चित करें कि दोनों तरफ के एनआईसी ने ड्राइवर अपडेट किए हैं और अन्यथा परतदार नहीं हैं।

इसके साथ ही कहा, क्या आप कई छोटी फाइलें या सिर्फ कुछ बड़ी फाइलें स्थानांतरित कर रहे हैं? मैंने देखा है RAID नियंत्रक समस्याओं जब लाखों छोटे फ़ाइलों को स्थानांतरित करने की कोशिश कर रहा है।

मुझे नहीं लगता कि जब आप असफलता का कारण बनते हैं तो एक बार आपको इसे स्वचालित करने में समस्या होगी। यह आपके हार्डवेयर के बारे में अधिक जानकारी और इवेंट व्यूअर में आपके द्वारा देखी जा सकने वाली किसी भी प्रासंगिक त्रुटि को सूचीबद्ध करने में मदद कर सकता है।

Answer 17

क्या आपने बाहरी हार्ड ड्राइव के लिए ईएएसएटीए कनेक्शन का उपयोग करने की कोशिश की है? कनेक्शन स्मोकिंन फास्ट (3 गीगाबिट!) हैं और कुछ समय में उस फाइल को ट्रांसफर करने में सक्षम होना चाहिए!

10/100 या 10/100/1000 सर्वर पर आपके नेटवर्क कार्ड की क्या गति है? जब आप फ़ाइल को कॉपी कर रहे होते हैं तो सर्वर नेटवर्क बैंडविड्थ और स्विच कैसा दिखता है? गंतव्य स्थान का (सर्वर का?) नेटवर्क बैंडविड्थ कैसा दिखता है जब नकल करते हैं? क्या आपने 2 एनआईसी को एक साथ जोड़ने की कोशिश की है? क्या नेटवर्क कार्ड ड्राइवर अप टू डेट हैं? क्या BIOS अप टू डेट है?

कई चीजें हैं जो फ़ाइल स्थानांतरण के लिए मुद्दा हो सकती हैं। यह सुनिश्चित करना कि हार्डवेयर ड्राइवर और BIOS अप टू डेट हैं, वास्तव में फर्क कर सकते हैं।

-JFV

Answer 18

सबसे सरल और सबसे तेज़ तरीका: बाहरी यूएसबी डिस्क और चलना।

मेरा तरीका: rsync का उपयोग करें यदि प्रतिलिपि विफल हो जाती है, तो बस इसे पुनरारंभ करें, और इसे वहीं छोड़ देगा जहां इसे छोड़ा था।

Answer 19

दूसरी बात यह देखने के लिए होगी कि क्या कोटा सेवा को लक्ष्य सर्वर पर सेट किया गया है; मुझे लगता है कि यह प्रति उपयोगकर्ता डिफ़ॉल्ट कोटा के रूप में 2 जीबी का उपयोग करता है।