अपडेट करें
S3 अब S3 के लिए एक पूरी तरह से प्रबंधित SFTP गेटवे सेवा प्रदान करता है जो IAM के साथ एकीकृत होती है और aws-cli का उपयोग करके प्रशासित किया जा सकता है।
वहाँ सैद्धांतिक और व्यावहारिक कारण हैं यह एक आदर्श समाधान नहीं है, लेकिन यह काम करता है ...
आप एक linux सर्वर पर कोई FTP / SFTP सेवा (जैसे proftpd के रूप में) स्थापित कर सकते हैं ... या तो EC2 में या अपने खुद के डेटा सेंटर में है, तो फाइल सिस्टम जहां एफ़टीपी सर्वर chroot करने के लिए कॉन्फ़िगर किया गया है, का उपयोग करते हुए एक बाल्टी माउंट s3fs ।
मेरे पास एक क्लाइंट है जो S3 से कंटेंट सर्व करता है, और कंटेंट उन्हें एक 3 पार्टी द्वारा प्रदान किया जाता है, जो केवल ftp पुश का समर्थन करता है ... इसलिए, कुछ हिचकिचाहट (S3 और वास्तविक फाइल सिस्टम के बीच प्रतिबाधा बेमेल के कारण) का अभाव है - एक उचित एफ़टीपी / एस 3 गेटवे सर्वर सॉफ्टवेयर पैकेज लिखने का समय (जो कि मैं अभी भी इन दिनों में से एक करने का इरादा रखता हूं), मैंने कई महीनों पहले उनके लिए इस समाधान का प्रस्ताव और तैनाती की और उन्होंने सिस्टम के साथ कोई समस्या नहीं बताई।
एक बोनस के रूप में, चूंकि proftpd प्रत्येक उपयोगकर्ता को अपने स्वयं के होम डायरेक्टरी और "प्रेटेंड" में डाल सकता है (जहां तक उपयोगकर्ता यह बता सकता है) कि proftpd उपयोगकर्ता के स्वामित्व वाली फाइलें वास्तव में लॉग इन उपयोगकर्ता के स्वामित्व में हैं, यह प्रत्येक ftp उपयोगकर्ता को अलग करता है। बाल्टी का "उपनिर्देशिका", और अन्य उपयोगकर्ताओं की फाइलों को दुर्गम बनाता है।
हालाँकि, डिफ़ॉल्ट कॉन्फ़िगरेशन के साथ कोई समस्या है।
एक बार जब आप प्राप्त करने के लिए कुछ दसियों या सैकड़ों फ़ाइलें, समस्या स्पष्ट नजर जब आप एक निर्देशिका, लिस्टिंग क्योंकि proftpd पढ़ने के लिए प्रयास करेंगे खींच लेंगे शुरू .ftpaccessसे अधिक, और अधिक, और फिर से फ़ाइलें, और निर्देशिका में प्रत्येक फ़ाइल के लिए, .ftpaccessयह देखने के लिए जाँच की जाती है कि क्या उपयोगकर्ता को इसे देखने की अनुमति दी जानी चाहिए।
आप इस व्यवहार को ProFTPd में अक्षम कर सकते हैं, लेकिन मेरा सुझाव है कि सबसे सही कॉन्फ़िगरेशन -o enable_noobj_cache -o stat_cache_expire=30s3fs में अतिरिक्त विकल्पों को कॉन्फ़िगर करना है:
-o stat_cache_expire (डिफ़ॉल्ट कोई समय सीमा समाप्त नहीं है)
स्टैट कैश में प्रविष्टियों के लिए समाप्ति समय (सेकंड) निर्दिष्ट करें
इस विकल्प के बिना, आप S3 के लिए कम अनुरोध करेंगे, लेकिन आप हमेशा ऑब्जेक्ट में किए गए परिवर्तनों को हमेशा नहीं खोज पाएंगे यदि बाहरी प्रक्रिया या s3fs के अन्य उदाहरण भी बाल्टी में ऑब्जेक्ट्स को संशोधित कर रहे हैं। मेरे सिस्टम में "30" का मूल्य कुछ मनमाने ढंग से चुना गया था।
-o enable_noobj_cache (डिफ़ॉल्ट रूप से अक्षम है)
उस ऑब्जेक्ट के लिए कैश एंट्री सक्षम करें जो मौजूद नहीं है। s3fs को हमेशा यह जांचना होता है कि s3fs कुछ कमांड करता है या नहीं, जब फ़ाइल (या सब डाइरेक्टरी) ऑब्जेक्ट (पाथ) के नीचे मौजूद होती है, क्योंकि s3fs ने ऐसी डायरेक्टरी को मान्यता दी है, जो मौजूद नहीं है और जिसके तहत फाइल या सबडायरेक्टरीज हैं। यह ListBucket अनुरोध को बढ़ाता है और प्रदर्शन को खराब करता है। आप प्रदर्शन के लिए इस विकल्प को निर्दिष्ट कर सकते हैं, s3fs स्टेट कैश में याद रखता है कि ऑब्जेक्ट (फ़ाइल या निर्देशिका) मौजूद नहीं है।
यह विकल्प s3fs को याद रखने की अनुमति देता है कि .ftpaccessवहाँ नहीं था।
ProFTPd के साथ उत्पन्न होने वाले प्रदर्शन के मुद्दों से संबंधित, जो उपरोक्त परिवर्तनों से हल हो गए हैं, आपको भी -o enable_content_md5s3fs में सक्षम करना होगा।
-o enable_content_md5 (डिफ़ॉल्ट रूप से अक्षम है)
सामग्री-md5 हेडर द्वारा मल्टीपार्ट के बिना अपलोड किए गए डेटा को सत्यापित करना। मल्टीपार्ट पोस्टिंग के बिना ऑब्जेक्ट अपलोड करते समय "सामग्री-एमडी 5" हेडर भेजने में सक्षम करें। यदि यह विकल्प सक्षम है, तो छोटी वस्तु अपलोड करते समय s3fs के प्रदर्शन पर इसका कुछ प्रभाव पड़ता है। क्योंकि s3fs हमेशा बड़ी वस्तु अपलोड करते समय MD5 की जाँच करता है, यह विकल्प बड़ी वस्तु पर कोई प्रभाव नहीं डालता है।
यह एक विकल्प है जो कभी भी एक विकल्प नहीं होना चाहिए था - इसे हमेशा सक्षम होना चाहिए, क्योंकि ऐसा नहीं करने से केवल एक नगण्य प्रदर्शन लाभ के लिए एक महत्वपूर्ण अखंडता जांच को दरकिनार कर दिया जाता है। जब किसी ऑब्जेक्ट को Content-MD5:हेडर के साथ S3 में अपलोड किया जाता है , तो S3 चेकसम को मान्य करेगा और ट्रांसिट में दूषित होने पर ऑब्जेक्ट को अस्वीकार कर देगा। हालांकि इसकी संभावना नहीं है, यह इस सुरक्षा जांच को अक्षम करने के लिए अदूरदर्शी लगता है।
उद्धरण s3fs के मैन पेज से हैं। व्याकरण की त्रुटियां मूल पाठ में हैं।