अमेज़न s3 बाल्टी के साथ जियोसर्वर

Question

मेरे पास अपने आभासी उदाहरण पर अपाचे चल रहे जियोसेवर है, और मैं सोच रहा हूं कि क्या जियोसर्वर डेटा निर्देशिका अमेज़ॅन एस 3 बाल्टी को इंगित कर सकती है। क्या यह संभव है? यह प्रदर्शन को कैसे प्रभावित करता है?

यदि S3 Geoserver के डेटा निर्देशिका के लिए एक खराब सेटअप है, तो क्या मेरे Geoserver डेटा निर्देशिका में बड़ी मात्रा में डेटा जोड़ने के लिए कोई सुझाव हैं? डेटा निर्देशिका 100 जीबी तक पहुंच सकती है, संभवतः अधिक। क्या मुझे बस एक बड़ी हार्ड ड्राइव के साथ एक सर्वर प्राप्त करना चाहिए, या अमेज़ॅन एस 3 बाल्टी की तरह अधिक मापनीय समाधान से कनेक्ट करना चाहिए?

Comments

डेटा क्या है? मैं इमेजरी का अनुमान लगाता हूं, लेकिन क्या आपने इसे टाइल किया है? शायद रेखापुंज जीतने के लिए कुछ डेटाबेस :-)

— ब्रैडहार्ड्स

यदि आप डेटा को रेखापुंज करते हैं और पढ़ा जाएगा और इंटरेक्टिव WMS S3 के लिए संसाधित किया जा सकता है तो यह धीमा हो सकता है। पिछले अनुभवों से संकेत, आप glusterfs + EBS को देखना चाहते हैं।

— सिमोगो

जियोसर्वर्स के एक क्षैतिज रूप से विस्तृत स्केलेबल बेड़े के लिए एक साझा डेटा बाल्टी के रूप में एस 3 का उपयोग करने में मेरी रुचि है। मैं वर्तमान में इसके लिए एक फ़ाइल सिस्टम को माउंट करने के लिए S3Fuse के उपयोग की जांच कर रहा हूं। इस क्षेत्र में किसी भी अन्य सफलताओं / असफलताओं के बारे में सुनना बहुत अच्छा होगा।

— 8bitjunkie

इस विषय में कोई अनुभव?

— जियोगेक्ट

Answer 1

S3 बाल्टी (उदाहरण के लिए s3fs का उपयोग करके) को सीधे "इंगित करना" एक बुरा विचार है। उदा। /programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

ईबीएस लगभग निश्चित रूप से जियोसर्वर द्वारा एक्सेस के लिए डेटा स्टोर करने के लिए सही जगह है।

ईबीएस मानकों द्वारा 100 जीबी बहुत प्रबंधनीय है। (अधिकतम मात्रा का आकार 16 टेराबाइट्स है!)

मैं S3 में मूल डेटा को संग्रहीत करने का सुझाव दे सकता हूं और फिर अपने उदाहरणों पर दोहरा सकता हूं, एक कमांड के साथ S3 फ़ोल्डर की सामग्री को अपने स्थानीय उदाहरण में सिंक करने के लिए AWS CLI टूल का उपयोग कर सकता हूं। http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html )। S3 यकीनन बेमानी है, लेकिन मुझे लगता है कि यह लचीलापन और सुविधा जोड़ता है।

साइड नोट: यदि आप वैसे भी बड़े मल्टी-कोर इंस्टेंस का उपयोग करने की योजना बना रहे हैं और आपको पता है कि डेटा की मात्रा अप्रत्याशित रूप से बढ़ने की संभावना नहीं है और आप अपने इंस्टेंस को ऑटो-बिल्ड करने में सक्षम हैं, तो आप वास्तव में इंस्टेंस स्टोरेज का उपयोग करने पर विचार कर सकते हैं ("अल्पकालिक भंडारण" ) क्योंकि आपका मूल डेटा S3 में सुरक्षित होगा, आप ईबीएस शुल्क पर बचत कर सकते हैं, और उदाहरण के लिए भंडारण कुछ मामलों में ईबीएस की तुलना में थोड़ा तेज हो सकता है।

Comments

यह एक व्यापक उत्तर है। असीम के बारे में यहाँ थोड़ी जानकारी है: boundlessgeo.com/2013/04/…

— एलेक्स लेथ

आप pyQGIS से AWS कमांड लॉन्च करने के लिए क्या उपयोग करते हैं? Processing.call? boto3 चलाने के लिए प्रतीत नहीं होता है। यह ओजियो शेल में अजगर 2 के साथ चलता है, लेकिन 3 नहीं ...

— लियो

Answer 2

क्या यह संभव है: यह उन डेटा के लिए आसानी से प्राप्त किया जा सकता है जो जियोटीफ़र एस 3 का उपयोग करके जियोटीफ़र समुदाय 3 के लिए अनुकूल है जो कि जिओटिफ़ सामुदायिक मॉड्यूल के लिए है - https://docs.geoserver.org/latest/en/user/commerity/s3-geotiff/index .html

यह प्रदर्शन को कैसे प्रभावित करता है? यह जवाब देना मुश्किल है, हालांकि, मैंने कीमत के एक अंश पर ईबीएस / ईएफएस स्टोरेज के बराबर प्रदर्शन पाया है।