अगर मेरे पास एक लाख छवियां हैं, तो क्या उन्हें कुछ फ़ोल्डर / सब-फ़ोल्डर पदानुक्रम में स्टोर करना बेहतर होगा या बस उन सभी को सीधे बाल्टी (किसी भी फ़ोल्डर के बिना) में डंप करें?
सभी छवियों को एक पदानुक्रम-कम बाल्टी में डंप करना LIST ऑपरेशन को धीमा कर देगा?
क्या फ्लाई पर फ़ोल्डर्स और उप फ़ोल्डर्स बनाने और उनके एसीएल (प्रोग्राम बोलने वाले) स्थापित करने में एक महत्वपूर्ण ओवरहेड है?
जवाबों:
S3 पदानुक्रमित नामस्थानों का सम्मान नहीं करता है। प्रत्येक बाल्टी में कुंजी से लेकर ऑब्जेक्ट (संबद्ध मेटाडेटा, एसीएल और इतने पर) के साथ कई मैपिंग शामिल हैं।
भले ही आपकी ऑब्जेक्ट की कुंजी में '/' हो, S3 एक सादे स्ट्रिंग के रूप में पथ को मानता है और सभी वस्तुओं को एक समतल नामस्थान में रखता है।
मेरे अनुभव में, एलआईएसटी ऑपरेशंस (रैखिक रूप से) ऑब्जेक्ट काउंट में वृद्धि के रूप में अधिक समय लेते हैं, लेकिन यह संभवतः अमेज़ॅन सर्वरों पर आवश्यक I / O की वृद्धि का एक लक्षण है, और आपके क्लाइंट के लिए तार नीचे।
हालाँकि, लुकअप समय ऑब्जेक्ट काउंट के साथ नहीं बढ़ रहा है - यह संभवतः उनके अंत में किसी प्रकार का O (1) हैशटेबल कार्यान्वयन है - इसलिए एक ही बकेट में कई ऑब्जेक्ट्स सामान्य प्रदर्शन के लिए छोटे बाल्टी के रूप में होने चाहिए (यानी नहीं)।
एसीएल के रूप में, अनुदान बाल्टी पर और प्रत्येक व्यक्तिगत वस्तु पर सेट किया जा सकता है। जैसा कि कोई पदानुक्रम नहीं है, वे आपके केवल दो विकल्प हैं। जाहिर है, अगर आप लाखों फाइलें हैं, तो कई बकेट-वाइड ग्रांट सेट करने से आपके एडमिन का सिरदर्द काफी हद तक कम हो जाएगा, लेकिन याद रखें कि आप केवल परमिशन दे सकते हैं, उन्हें रद्द न करें, इसलिए बकेट-वाइड ग्रांट सभी के लिए ACL की अधिकतम उपसमुच्चय होनी चाहिए। इसकी सामग्री।
मैं इसके लिए अलग बाल्टी में विभाजित करने की सलाह दूंगा:
मूल प्रश्न का उत्तर "S3 में प्रति निर्देशिका अधिकतम फ़ाइलें" है: असीमित। एक बाल्टी में वस्तुओं के लिए S3 की सीमा भी देखें ।
मैं एक रूट के साथ एक निर्देशिका संरचना का उपयोग करता हूं फिर कम से कम एक उप निर्देशिका। मैं अक्सर रूट के तहत निर्देशिका के रूप में "दस्तावेज़ आयात की तारीख" का उपयोग करता हूं। यह बैकअप को थोड़ा आसान बना सकता है। आप जिस भी फ़ाइल सिस्टम का उपयोग कर रहे हैं, वह अंततः फ़ाइल गणना सीमा (एक व्यावहारिक नहीं तो एक भौतिक सीमा) से टकराने के लिए बाध्य है। आप कई जड़ों का समर्थन करने के बारे में सोच सकते हैं।