S3- संगत ऑब्जेक्ट संग्रहण सिस्टम [बंद]

14

बन्द है। यह सवाल ऑफ टॉपिक है । यह वर्तमान में उत्तर स्वीकार नहीं कर रहा है।

इस प्रश्न को सुधारना चाहते हैं? प्रश्न अपडेट करें तो यह है -विषय पर सर्वर दोष के लिए।

5 साल पहले बंद हुआ ।

क्या कोई 100% Amazon S3 RESTful API संगत ऑब्जेक्ट स्टोरेज सिस्टम के निकट आया है?

इसके बाद मैं एक ऐसी परत हूं जो किसी भी (अधिमानतः POSIX) फाइलसिस्टम के ऊपर बैठती है जो अमेज़ॅन S3 स्टाइल रेस्टफुल एपीआई को स्टोर करने के लिए प्रदान करता है ( PUT), पुनः प्राप्त ( GET), स्टेट ( HEAD) और डिलीट ( DELETE), सभ्य प्रमाणीकरण के साथ।

वाणिज्यिक परियोजनाओं / विचारों का भी स्वागत है।

ध्यान दें:

मैंने अब तक नीलगिरी और क्यूम्यलस की कोशिश की है ; जिसमें से नीलगिरी आँख बंद करके खुद को S3- संगत कह रही है। प्रतिक्रिया XML दस्तावेज़ सभी संगत नहीं हैं, और कुछ स्थानों पर बिना XML दस्तावेज़ों के सभी के साथ पैच है। कमुलस प्रतिक्रिया दस्तावेजों को काफी समान रखने में कामयाब रहा है, लेकिन लगता है कि डेटा अखंडता के बारे में भूल गया है!

मुझे बाद वाले हिस्से की व्याख्या करने दें: दोनों यूकलिप्टस और कमुलस को अखंडता सत्यापन के लिए कोई समर्थन नहीं है जो अमेज़ॅन एस 3 प्रदान करता है। आप S3 के साथ क्या कर सकते हैं कि आप PUT अनुरोध के साथ एक Base64 (MD5 (FILE)) प्रदान कर सकते हैं, जो तब S3 द्वारा सत्यापित किया जाता है, जब तक कि वे एक सफलता के साथ जवाब नहीं देते। नीलगिरी और क्यूम्यलस इसका समर्थन नहीं करते हैं। नीलगिरी के साथ, हम कम से कम प्रतिक्रिया दस्तावेज़ में दिए गए एमडी 5 (एस 3-संगत व्यवहार नहीं) की जांच करके इसे प्राप्त कर सकते हैं। क्यूम्युलस में, यह संभव नहीं है क्योंकि यह कुछ भी (जैसे S3) के साथ प्रतिक्रिया नहीं करता है। HEADअनुरोध में ईटाग को न देकर इसे क्यूम्यलस द्वारा और भी बदतर बनाया गया है ।

— CodeMedic
स्रोत

3

स्विफ्ट ओपनस्टैक का ऑब्जेक्ट स्टोरेज इंजन है, और फरवरी 2011 में बीक्सर रिलीज़ के रूप में , यह एक प्रयोगात्मक एस 3-संगत मिडलवेयर का दावा करता है। जैसा कि ओपनस्टैक पर बहुत ध्यान दिया जा रहा है (इस अक्टूबर में यूकेलिप्टस पर कैनोनिकल इसे उबंटू में स्थानांतरित कर रहा है, उदाहरण के लिए) यह देखने लायक हो सकता है।

— सीआरबी
स्रोत

3

अंत में, मुझे यूकेलिप्टस वालरस के साथ आगे बढ़ना पड़ा। आखिरकार मैं इसके साथ कुछ बुनियादी मुद्दों को खोजने के लिए समाप्त हो गया, वे सभी संभव काम के आसपास थे।

आपके बहुमूल्य इनपुट के लिए सभी को धन्यवाद!

— CodeMedic
स्रोत

2

[अस्वीकरण: मैं काम करता हूँ]

अमेज़ॅन अपने एडब्ल्यूएस उत्पादों पर बहुत सक्रिय रहता है और अक्सर अपने एपीआई में परिवर्धन और परिवर्तन / सुधार करता है। तब लगभग 100% संगत उत्पाद (विशेषकर वाणिज्यिक उत्पादों में, शायद ओएसएस उत्पाद किसी भी परिवर्तन के लिए अधिक प्रतिक्रियाशील होंगे) खोजना मुश्किल है। कई ऑब्जेक्ट / क्लाउड स्टोरेज विक्रेता कुछ समय के लिए अपने स्वयं के प्रोटोकॉल के साथ आसपास रहे हैं (एटमोस, डीडीएन यहां तक कि ओपनस्टैक के स्विफ्ट ..) लेकिन उन्होंने ज्यादातर सभी अपने स्वयं के प्रोटोकॉल के विचार को छोड़ दिया है जितना कि S3 के रूप में व्यापक रूप से उपयोग किया जा रहा है। वे सभी (लगभग) अभी S3- संगत इंटरफ़ेस की घोषणा कर रहे हैं या आने वाले महीनों में। यह सभी उद्योग डी फैक्टो मानक के बाद है। केवल दावेदार बचे हुए सीडीएमआई अपने मानकीकृत प्रकृति के कारण हो सकते हैं और यह तथ्य एसएनआईए से आता है, जो एक गैर-लाभकारी, गैर-विक्रेता संगठन है। पर यह'

कुछ विकल्प हैं जहां तक एस 3-संगत इंटरफ़ेस जाता है, जैसे कि मीज़ो, आपने जिन लोगों का उल्लेख किया है (नीलगिरी और क्यूम्यलस), ओपनस्टैक (हालांकि यह अभी तक मुझे विश्वास नहीं है)। समानता उनमें से एक है।

Scality का S3 कार्यान्वयन (RS2 - REST संग्रहण सेवा कहा जाता है) S3 के बहुत करीब है जिसमें हमारे अनुरोध / उत्तर उस अनुरूप हैं जो आपको S3 से मिलेगा। एस 3 के बुनियादी ढांचे से बंधे कुछ कार्य स्पष्ट कारणों (उदाहरण के लिए क्षेत्र चयन) के लिए मौजूद नहीं हैं। लेकिन आवश्यक आदेश हैं: एक वस्तु, बाल्टी निर्माण और लिस्टिंग प्राप्त / प्राप्त करें; और S3 की तरह ही प्रतिक्रिया करेगा।

मैं सिर्फ आपकी दूसरी समस्या का जवाब देने के लिए जोड़ना चाहूंगा, कि स्कैलिटी का उत्पाद, रिंगिंग, एक सॉफ्टवेयर ऑब्जेक्ट स्टोरेज प्लेटफॉर्म है, जो डेटा अखंडता के मुद्दों को हल करता है जिसे आप चेकिंग द्वारा संदर्भित कर रहे हैं और रिंगिंग पर संग्रहीत सभी ऑब्जेक्ट्स की पृष्ठभूमि अखंडता जांच कर रहे हैं। किसी ऑब्जेक्ट को संग्रहीत करना मूल रूप से एक लेन-देन क्वेरी है, और एक बार किसी ऑब्जेक्ट को "सफलतापूर्वक संग्रहीत" के रूप में दावा किया गया है, यह हमेशा अखंड अखंडता जांच (उदाहरण के लिए प्रत्येक पढ़ने पर) के साथ होगा।

मैं विवरण में नहीं जाऊंगा आप हमारी वेबसाइट पर जा सकते हैं यह समझने के लिए कि कैसे हम आम डेटा प्रबंधन बुरे सपने से भंडारण प्रवेश को कम करते हैं और रात को सोते हैं कि उनका डेटा उपलब्ध है। हमेशा। :)

सर्वश्रेष्ठ, मार्क विलेडमेड @ मस्तचंद

— मार्क विलेमेड
स्रोत

2

न्यूड्रीम के सेफ में एक एस 3-संगत फास्टसीगी गेटवे है जो कि सेफ फाइल सिस्टम के समान ऑब्जेक्ट स्टोरेज सिस्टम का उपयोग करता है। ( http://ceph.newdream.net/wiki/RADOS_Gateway ) अभी भी उत्पादन तैयार नहीं है, लेकिन नियमित रूप से अपडेट करना।

मैंने अपने परीक्षण में ओपनस्टैक के ऑब्जेक्ट स्टोर को अधिक विश्वसनीय पाया, हालांकि एस 3 पुस्तकालयों के साथ संगत नहीं था जो मैंने उपयोग किया था या वास्तव में अपने क्लाउडफ़ाइल्स भंडारण सेवा के लिए रैकस्पेस के अपने जावा क्लाइंट के साथ था (जो कि स्विफ्ट के अपने संस्करण का उपयोग करता है)। हालांकि jclouds प्रोजेक्ट जिसमें s3 और Swift का समर्थन है, ने मेरे लिए काम किया।

— डेविड
स्रोत

2

आप क्लाउड फाउंड्री vBlob: https://github.com/cloudfoundry/vblob को भी देख सकते हैं

यह एक नोड.जेएस ऐप है (सीएफ एकीकरण के लिए रूबी रैपर के साथ) जो किसी भी फाइल सिस्टम के शीर्ष पर एस 3 प्रोटोकॉल का एक अच्छा हिस्सा लागू करता है जिसे वीएम "देख" सकता है।

— मैथ्यू एल
स्रोत

1

दोनों s3ql (जीएनयू जीपीएल v3) और s3backer (जीएनयू जीपीएल v2) आप जो खोज रहे हैं है।

— सीन मैक
स्रोत

1

शॉन; मैं एक ग्राहक पुस्तकालय या एक ग्राहक के लिए नहीं देख रहा हूँ भंडारण के साथ बातचीत करने के लिए भी; सर्वर में ही अधिक रुचि है।

— कोडमेडिक

1

पुराना / उत्तर दिया गया प्रश्न, लेकिन https://github.com/basho/riak_cs सिर्फ https://github.com/basho/riak_cs पर खुला हुआ था : "Riak CS एक वस्तु भंडारण प्रणाली है जो Riak के शीर्ष पर बनाई गई है। यह सुविधा प्रदान करती है। रिआक में बड़ी वस्तुओं को संग्रहीत करना और एक S3- संगत इंटरफ़ेस प्रस्तुत करता है। यह उपयोगकर्ता खातों, प्रमाणीकरण, अभिगम नियंत्रण तंत्र और प्रति खाता उपयोग रिपोर्टिंग जैसे मटि-टेनेंसी सुविधाएँ भी प्रदान करता है। "

— astrostl
स्रोत

1

मुझे यकीन है कि आपको ऊपर इतने सारे विकल्प मिल गए हैं फिर भी आपको ओपनस्टैक स्विफ्ट, इसकी ओपनसोर्स ऑब्जेक्ट स्टोरेज की जांच करनी चाहिए और SATA संगत एपीआई का भी समर्थन करना चाहिए। इसका उपयोग रैकस्पेस, एचपीक्लाउड कोरिया टेलीकॉम और कई अन्य लोगों के लिए वस्तु भंडारण समाधान के रूप में किया जाता है।

दस्तावेज़ीकरण http://docs.openstack.org/developer/swift/associated_projects.html Swift3 https://github.com/fujita/swift3 Swift3 मिडवेस्टवेयर ओपनस्टैक स्विफ्ट के लिए, अमेज़न S3 एपीआई के माध्यम से ओपनस्टैक स्विफ्ट तक पहुंच की अनुमति देता है।

आशा करता हूँ की ये काम करेगा।

— koolhead17
स्रोत

-3

[अस्वीकरण: मैं क्लाउडियन के लिए काम करता हूं]

Cloudian HyperStore ऑब्जेक्ट स्टोरेज सॉफ्टवेयर 100% Amazon S3 API संगत है। यह सभी S3 API को त्रुटि कोड और उन सभी विशेषताओं को लागू करता है जो Amazon S3 में हैं।

कुछ को सूचीबद्ध करने के लिए, Cloudian HyperStore मल्टी-पार्ट अपलोड, ऑब्जेक्ट वर्जनिंग, S3 संगत ACL, S3 और ग्लेशियर के लिए ऑटो-टायरिंग, S3 क्रॉस-ऑरिजिनल रिसोर्स शेयरिंग (CORS), S3 एन्कोडिंग-प्रकार, स्थान की कमी और कई अन्य का समर्थन करता है।

और हाँ Cloudian के साथ आप PUT अनुरोध के साथ एक Base64 (MD5 (FILE)) प्रदान कर सकते हैं, जो तब सफलता के साथ जवाब देने से पहले सत्यापित हो जाता है।

अधिक जानकारी के लिए इस ब्लॉग पोस्ट की जाँच करें http://www.cloudian.com/blog/?p=64 और Cloudian वेबसाइट http://www.cloudian.com/products/cloudian-hyperstore.php पर

— सिमोन
स्रोत

-4

क्या आपने s3fs की जाँच की है ? यह MD5 चेक की सुविधा नहीं देता है जो आप चाहते हैं ( http://code.google.com/p/s3fs/issues/detail?id=37&q=md5 ), लेकिन मुझे लगता है कि इसे लागू करना बहुत मुश्किल नहीं होगा। ध्यान दें कि अंततः सुसंगत है।

— gekkz
स्रोत

2

S3FS पोस्टर क्या चाहता है के लिए रिवर्स ऑर्डर है। यह एक S3 बाल्टी से बाहर एक फाइलसिस्टम बनाता है। ओपी एक फाइल सिस्टम से बाहर एक S3 बाल्टी बनाना चाहता है।

— crb