क्या नेटवर्क फ़ाइल साझाकरण प्रोटोकॉल में सबसे अच्छा प्रदर्शन और विश्वसनीयता है? [बन्द है]


36

हमारे पास कुछ वेब सर्वरों के लोड-संतुलित होने के साथ एक सेटअप है। हम कुछ प्रकार के नेटवर्क साझा संग्रहण चाहते हैं, जो सभी वेब सर्वर तक पहुंच सकते हैं। इसका उपयोग उपयोगकर्ताओं द्वारा अपलोड की गई फ़ाइलों को संग्रहीत करने के लिए एक स्थान के रूप में किया जाएगा। सब कुछ लिनक्स चल रहा है।

क्या हमें NFS, CIFS, SMB, fuse + sftp, fuse + ftp का उपयोग करना चाहिए? नेटवर्क फ़ाइल साझाकरण प्रोटोकॉल के लिए बहुत सारे विकल्प हैं, किसी एक को चुनना बहुत कठिन है। हम मूल रूप से कई मशीनों पर इस एक हिस्से को स्थायी रूप से बसाना चाहते हैं। सुरक्षा सुविधाओं की चिंता कम होती है क्योंकि यह बढ़ते सर्वर के अलावा कहीं से भी नेटवर्क सुलभ नहीं होगा। हम बस यह चाहते हैं कि यह मज़बूती से और तेज़ी से काम करे।

हमें किसका उपयोग करना चाहिए?


यदि आप अपनी वेबसाइट के सामने एक्सेलेरेटर जोड़ते हैं, जैसे स्क्वीड एक्सीलेटर या क्लाउडफ्लेयर, तो जीवन बहुत सरल है। अगली सबसे अच्छी बात यह है कि फ़ाइलों के बजाय मेमेक या डेटाबेस में परिवर्तित सामग्री को लिखना है। साझा निर्देशिका बड़ी साइटों के लिए नहीं है।
एंट्टी रयोटोला सर्किल्स

जवाबों:


29

मैं एनएफएस को वोट देता हूं।

NFSv4.1 ने समानांतर NFS pNFS क्षमता को जोड़ा, जो समानांतर डेटा को संभव बनाता है। मैं सोच रहा हूं कि किस तरह के ग्राहक स्टोरेज का उपयोग कर रहे हैं यदि केवल यूनिक्स की तरह तो मैं प्रदर्शन आंकड़ों के आधार पर एनएफएस के लिए जाऊंगा।


+1 समानांतर NFS की जानकारी के लिए
Ophidian

21

संक्षिप्त उत्तर NFS का उपयोग है। इस गोलीबारी और मेरे अपने अनुभव के अनुसार, यह तेज है।

लेकिन, आपके पास अधिक विकल्प हैं! आपको जीएफएस जैसे क्लस्टर एफएस पर विचार करना चाहिए, जो कि एक फाइल सिस्टम है जिसे कई कंप्यूटर एक साथ एक्सेस कर सकते हैं। मूल रूप से, आप iSCSI के माध्यम से एक ब्लॉक डिवाइस साझा करते हैं जो एक GFS फाइल सिस्टम है। सभी क्लाइंट (iSCSI पार्लियामेंट में सर्जक) इसे पढ़ और लिख सकते हैं। रेडहैट में एक श्वेतपत्र है । आप समान चीज़ को प्रबंधित करने के लिए oracle के क्लस्टर FS OCFS का भी उपयोग कर सकते हैं ।

रैहट पेपर एक अच्छा कार्य करता है जो एक क्लस्टर एफएस बनाम एनएफएस के पेशेवरों और विपक्षों को सूचीबद्ध करता है। मूल रूप से यदि आप बड़े पैमाने पर कमरा चाहते हैं, तो जीएफएस संभवतः प्रयास के लायक है। इसके अलावा, GFS उदाहरण एक फाइबर चैनल SAN का उपयोग एक उदाहरण के रूप में करता है, लेकिन यह आसानी से एक RAID, DAS या iSCAN SAN हो सकता है।

अंत में, जंबो फ्रेम्स में देखना सुनिश्चित करें, और यदि डेटा अखंडता महत्वपूर्ण है, तो CRC32 चेकसमिंग का उपयोग करें यदि आप जम्बो फ्रेम्स के साथ iSCSI का उपयोग करते हैं।


कुछ संख्या यहाँ पर: forums.neurostechnology.com/index.php?topic=9263.0
naught101


whitepaper लिंक अब और काम नहीं कर रहा है
meffect

18

हमारे पास एक 2 सर्वर लोड-ब्लैंसिंग वेब क्लस्टर है। हमने सर्वर के बीच सामग्री को सिंक्रनाइज़ करने के लिए निम्नलिखित तरीकों की कोशिश की है:

  • प्रत्येक सर्वर पर स्थानीय ड्राइव हर 10 मिनट में RSYNC के साथ समन्वयित होता है
  • एक केंद्रीय CIFS (SAMBA) दोनों सर्वरों को साझा करता है
  • एक केंद्रीय NFS दोनों सर्वरों को साझा करता है
  • OCFS2 चलाने वाला एक साझा SAN ड्राइव दोनों सर्वरों को माउंट करता है

Rsync समाधान सरल था, लेकिन परिवर्तन दिखाने के लिए और rsync सर्वर हम कस्टम स्क्रिप्ट के साथ रुके यह हर दूसरे को थामने के लिए था पर इतना बोझ डाल के लिए यह 10 मिनट लग गए। हम केवल सोर्स ड्राइव तक ही सीमित थे।

सबसे तेज़ प्रदर्शन करने वाला साझा ड्राइव OCFS2 क्लस्टर ड्राइव था, जब तक कि यह पागल नहीं हो जाता और क्लस्टर क्रैश हो जाता। हम OCFS2 के साथ स्थिरता बनाए रखने में सक्षम नहीं हैं। जैसे ही एक से अधिक सर्वर एक ही फाइल एक्सेस करते हैं, छत से लोड चढ़ जाता है और सर्वर रिबूट होने लगते हैं। यह हमारी ओर से एक प्रशिक्षण विफलता हो सकती है।

अगला सबसे अच्छा एनएफएस था । यह बेहद स्थिर और दोषपूर्ण सहिष्णु रहा है। यह हमारा वर्तमान सेटअप है।

SMB (CIFS) में कुछ लॉकिंग समस्याएं थीं। वेब सर्वर द्वारा SMB सर्वर पर फ़ाइलों में विशेष परिवर्तन नहीं देखे जा रहे थे। SMB सर्वर पर विफल होने पर SMB भी हैंग होने लगा

हमारा निष्कर्ष यह था कि OCFS2 में सबसे अधिक क्षमता है लेकिन इसे उत्पादन में उपयोग करने से पहले बहुत सारे विश्लेषण की आवश्यकता होती है। यदि आप कुछ सीधे और विश्वसनीय चाहते हैं, तो मैं विफलता के लिए हार्टबीट के साथ एनएफएस सर्वर क्लस्टर की सिफारिश करूंगा।


2
हमारे पास OCFS2 के साथ ठीक वैसा ही अनुभव था: यह बहुत अच्छा है ... जब तक यह दुर्घटनाग्रस्त नहीं हो जाता।
15

5

मेरा सुझाव है कि आप POHMELFS - यह रूसी प्रोग्रामर इवगेनी पॉलाकोव द्वारा बनाया गया है और यह वास्तव में, वास्तव में तेज है।


3

विश्वसनीयता और सुरक्षा के संदर्भ में, शायद सीआईएफएस (उर्फ सांबा) लेकिन एनएफएस "अधिक हल्का" लगता है, और सावधानीपूर्वक कॉन्फ़िगरेशन के साथ, नेटवर्क पर हर दूसरे मशीन के लिए अपने मूल्यवान डेटा को पूरी तरह से उजागर नहीं करना संभव है;;

FUSE सामान का अपमान नहीं है, लेकिन यह अभी भी लगता है ... ताजा, अगर आप जानते हैं कि मेरा क्या मतलब है। मुझे नहीं पता कि मैं अभी तक इस पर भरोसा करता हूं, लेकिन यह सिर्फ मुझे एक पुरानी प्रसिद्धि होने के नाते हो सकता है, लेकिन पुराने फोगिज्म को कभी-कभी वारंट किया जाता है जब यह मूल्यवान उद्यम डेटा की बात आती है।

यदि आप कई मशीनों पर स्थायी रूप से एक शेयर माउंट करना चाहते हैं, और आप कुछ अजीबता (ज्यादातर यूआईडी / जीआईडी ​​मुद्दों) के साथ खेल सकते हैं, तो एनएफएस का उपयोग करें। मैं इसका उपयोग करता हूं, और कई वर्षों तक करता हूं।


2
फ्यूज ही तो मैं यह भरोसा चाहते हैं, लेकिन इसे पर बनाया गया फ़ाइल सिस्टम की कुछ, कि नया नहीं है कर रहे हैं नए और निश्चित रूप से कुछ स्वस्थ संदेह वारंट। जो वास्तविक दुनिया में, बहुत कम से कम परीक्षण में वृद्धि करने के लिए अनुवाद करता है :)
pjz

2

एनएफएस। यह कोशिश की गई है और सच है, और आपके पास एक ठोस ठोस सेटअप हो सकता है। जीएफएस का प्रदर्शन आम तौर पर भयानक होता है, विशेष रूप से बड़ी फाइल के साथ फाइल सिस्टम पर। मैंने OCFS का उपयोग नहीं किया है, लेकिन मैं आम तौर पर क्लस्टर फाइल सिस्टम अवधारणा पर आधारित हूं। फिर वहाँ चमक है, लेकिन यह कीड़े का एक और कर सकते हैं ...


1

मैं एनएफएस के खिलाफ सलाह दूंगा। सीधे शब्दों में कहें - हमारे पास एक वेब सर्वर फ़ार्म था, जिसमें JBoss, Apache, Tomcat और Oracle सभी सामान्य कॉन्फ़िगरेशन फ़ाइलों के लिए NFS शेयरों और लॉगिंग का उपयोग कर रहे थे।

जब एनएफएस शेयर गायब हो गया (स्वाभाविक रूप से एक दुर्लभ-ईश घटना) पूरी बात बस ढह गई (वास्तव में पूर्वानुमान, और मैंने इस कॉन्फ़िगर समय शॉर्टकट के खिलाफ 'डेवेलपर्स' की सलाह दी)।

ऐसा लगता है कि NFS के संस्करण के साथ एक समस्या थी जिसका हम उपयोग कर रहे थे, यदि एक लेखन के दौरान लक्ष्य गायब हो जाता है, तो ग्राहक कभी भी समाप्त होने वाले प्रतीक्षा लूप में नहीं जाएगा, एनएफएस लक्ष्य के वापस आने की प्रतीक्षा कर रहा है। यहां तक ​​कि अगर एनएफएस बॉक्स ने फिर से जोड़ा - लूप अभी भी समाप्त नहीं हुआ।

हम RHEL 3,4,5 के मिश्रण का उपयोग कर रहे थे। भंडारण RHEL4 पर था, सर्वर RHEL5 पर थे, भंडारण नेटवर्क एक अलग लेन था, और vlans पर नहीं चल रहा था।

यदि एक लोड संतुलित फ्रंट एंड है, तो एकल स्टोरेज की जाँच करना - क्या यह आपके सिस्टम को अड़चन नहीं देगा?

क्या आपने अपने स्टोरेज में रीड-ओनली iSCSI कनेक्शन माना है, जब किसी फाइल को अपलोड करने पर ftp / scp के माध्यम से अपलोड की गई फाइल को स्टोरेज में स्थानांतरित करने के लिए एक ईवेंटेड स्क्रिप्ट होती है?

एक ही समय में मैंने कई पढ़े गए प्रमुखों के लिए एक सफल केंद्रीकृत भंडारण को लागू किया है जो ईएमसी भंडारण सरणी पर था ... अन्य सभी लागत प्रभावी प्रयासों में उनकी कमियां थीं।


1

माना GFS? GFS एक क्लस्टर फाइल सिस्टम है, और मेरे अनुभव में, बहुत विश्वसनीय है। यह एक से अधिक जर्नल हो सकता है, यह बहुत अच्छी तरह से तराजू

लेकिन आपको कुछ क्लस्टर सेवाओं को स्थापित करने की आवश्यकता होगी और जीएफएस इसकी तेजी के लिए बिल्कुल नहीं जानता है। ओटोह, यह हमेशा मेरे लिए काफी तेज रहा है, लेकिन यमव।


1

आप GFS जैसी वितरित FS पर विचार करने के लिए अपने दिमाग से बाहर होंगे, और iSCSI ओवरकिल है।

यदि आप NFS के साथ सरल जाना चाहते हैं। यह सरल और तेज़ है, और नरम माउंट के साथ काफी मजबूत है। इसके साथ जाने वाले सभी लॉकिंग जंक को अक्षम करने पर भी विचार करें। मेरे पास लिनक्स डेस्कटॉप है जो एनएफएस से अपने सभी घर निर्देशिका और अनुप्रयोगों को हड़पते हैं, यह ठीक काम करता है।

यदि आप अपमानजनक गति को चमक के साथ जाना चाहते हैं, जो सेट अप करने के लिए जीएफएस की तुलना में काफी आसान है और RAID एनएफएस की तरह है। हम अपने समूहों के लिए चमक का उपयोग करते हैं।


1

मुझे थोड़ी देर हो सकती है, हम एक MD3220 डेल स्टोरेज का उपयोग करते हैं जिसमें क्लस्टर ड्यूल पोर्ट होता है, हमारी यूनिट में 2 कंट्रोलर होता है एक नीचे जाता है दूसरा तब तक इसे चालू रखेगा जब तक हम उस समस्या को ठीक नहीं कर लेते। चूंकि HDD, FAN, बिजली की आपूर्ति और नियंत्रक सभी Hotswap हैं, हम भागों को अंदर और बाहर बदलते हैं। प्रारूप के रूप में हम NFS का उपयोग करते हैं।


0

यदि आप पहले से ही हर जगह webservers ले चुके हैं और उन्हें चलाने में अच्छे हैं, तो WebDAV पर विचार क्यों न करें?


0

NFS के लिए सरल उत्तर +1। मेरे पास एनएफएस शेयर हैं जो बिना किसी मुद्दे के खिंचाव के वर्षों के लिए लगाए गए हैं।

यदि आप सुपर विश्वसनीयता की तलाश कर रहे हैं, तो डीआरबीडी को मिश्रण में फेंकने के साथ-साथ एक वितरित, ऑटो फेलओवर एनएफएस फाइल सिस्टम के लिए विचार करें।

एकमात्र अन्य विकल्प (जो मैं परिचित हूं) iSCSI है, लेकिन इसे कॉन्फ़िगर करने के लिए पीछे के दर्द में हो सकता है ...


0

आपके पास विकल्पों की एक गुच्छा है, विभिन्न प्रकार की लागतों के साथ। साझा एफसी, iSCSI या हाल ही के परिवर्धन में से एक के साथ सैन को साझा किया। किसी भी मामले में उन्हें स्थापित करना महंगा हो सकता है और आपको अभी भी क्लस्टर जागरूक फ़ाइल सिस्टम चलाने की आवश्यकता है। क्लस्टर किए गए फाइल सिस्टम दर्द की दुनिया हैं। सफलता की किसी भी आशा के लिए आपको क्लस्टर संचार और डेटा के लिए अलग उच्च गति, कम विलंबता नेटवर्क की आवश्यकता होती है। यहां तक ​​कि उसके साथ आपको ग्लिच मिलने की संभावना है, जिसके परिणामस्वरूप नोड को रिंग किया जाता है और मार दिया जाता है।

केवल क्लस्टर फ़ाइल सिस्टम मैं आया हूँ कि बस बिना किसी परेशानी के काम करता है VMFS। लेकिन यह इतना विशिष्ट है, यह सामान्य उपयोग के लिए उपलब्ध होने पर भी कोई फायदा नहीं होगा।

NFS संभवतः आपके सेटअप के लिए जाने का तरीका है। यदि आप लचीलापन के बारे में चिंतित हैं, तो आपको एक उचित संकुलन NFS बॉक्स प्राप्त करने की आवश्यकता है। आप एक होमब्रेव सेटअप कर सकते हैं, लेकिन उपरोक्त समस्या को मार देंगे। सबसे अच्छी शर्त (यदि आपके पास पैसा है), तो नेटएप फाइलरों को जोड़ा जाता है। यह एक महंगा विकल्प है, लेकिन क्लस्टरिंग वास्तव में बिना किसी परेशानी के काम करता है। इतना ही नहीं वे बहुत तेज हैं।


0

मैं कुछ को एनएफएस के खिलाफ दी गई चेतावनी को प्रतिध्वनित करूंगा - हालांकि एनएफएस संभवत: आपकी सबसे अच्छी शर्त है (जो लगता है कि अजीब है)।

मेरे पास एक NFS क्लाइंट था जिसे मुझे बंद करने के लिए AC से डिस्कनेक्ट करना पड़ा क्योंकि NFS सर्वर गायब हो गया था और क्लाइंट ने मना कर दिया (कर्नेल में) अनलॉक करने या बंद करने के लिए क्योंकि NFS सर्वर चला गया था।

इसे ठीक करने के लिए, मैं एनएफएसवी 4 पर जोर दूंगा, टीसीपी कनेक्शन के साथ रहना, जंबो फ्रेम का उपयोग करना और एनएफएस क्लस्टर का उपयोग करना। आप अपने NFS सर्वर को गायब नहीं कर सकते।


0

जीएफएस कुछ गंभीरता से काला जादू है। एक साधारण दो क्लाइंट क्लस्टर काम करने के लिए आवश्यक कार्य की मात्रा विकल्पों की तुलना में लड़खड़ा रही है। OCFS2 तैनात करने के लिए बहुत सरल है, लेकिन जब यह सभी संलग्न सर्वर पर शामिल कर्नेल मॉड्यूल संस्करणों की बात आती है, तो यह बहुत ही उपयुक्त है - और यह अभी शुरुआत है।

जब तक आपको वास्तव में एक क्लस्टर फ़ाइल सिस्टम ऑफ़र की निम्न-स्तरीय पहुंच की आवश्यकता होती है, तब तक NFS या CIFS शायद आप सभी की आवश्यकता होती है।


0

एक बड़े सर्वर फ़ार्म पर हमारे पास कई मिलियन उपयोगकर्ता थे जिन्होंने html पेज बनाए। NFS ने इतनी अच्छी तरह से काम नहीं किया इसलिए हमने उन्हें एक mysql तालिका में डाल दिया। ओवरहेड एक निर्देशिका पेड़ को पीछे करने की तुलना में लगभग एक ही था।


-2

मैंने SFTP का उपयोग किया है और यह मेरे उद्देश्यों के लिए ठीक काम करता है - NFS मेरा पहला सहारा था, लेकिन उपयोगकर्ता / समूह आईडी के मज़ाक ने मुझे इसे जल्दी से छोड़ दिया।

बस publickey को सेटअप करें और आप काफी हद तक सेट हो जाएंगे। SSH एन्क्रिप्शन के लिए कुछ हद तक भारी सीपीयू ओवरहेड हो सकता है, लेकिन प्लस साइड पर मैंने डेटा भ्रष्टाचार के साथ किसी भी मुद्दे पर कभी नहीं चलाया है।

एफ़टीपी आपके उद्देश्यों को अच्छी तरह से सूट कर सकता है, क्योंकि यह अधिक हल्का है। संभवत: आप चाहते हैं कि आपके वेबसर्वर वेब सर्विंग करें, न कि ssh काम करें।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.