मैंने अपनी साइट पर एक पूर्वानुमानात्मक खोज (नीचे उदाहरण देखें) सुविधा जोड़ी है जो एक उबंटू सर्वर पर चलती है। यह एक डेटाबेस से सीधा चलता है। मैं प्रत्येक खोज के लिए परिणाम को कैश करना चाहता हूं और इसका उपयोग करता हूं कि यदि यह मौजूद है, तो इसे बनाएं।
क्या एक निर्देशिका में अलग-अलग फ़ाइलों में संभावित cira 10 मिलियन परिणामों को सहेजने में मेरे साथ कोई समस्या होगी? या क्या उन्हें फ़ोल्डर्स में विभाजित करना उचित है?
उदाहरण:
5
विभाजन करना बेहतर होगा। कोई भी कमांड जो उस डायरेक्टरी की सामग्री को सूचीबद्ध करने की कोशिश करता है, वह संभवतः खुद को शूट करने का निर्णय लेगा।
—
मूरू
इसलिए यदि आपके पास पहले से ही एक डेटाबेस है, तो इसका उपयोग क्यों नहीं करें? मुझे यकीन है कि DBMS लाखों रिकॉर्ड बनाम फाइलसिस्टम को संभालने में बेहतर होगा। यदि आप फाइलसिस्टम का उपयोग करने में मृत हैं, तो आपको किसी प्रकार के हैश का उपयोग करके एक विभाजन योजना के साथ आने की आवश्यकता है, इस बिंदु पर यह IMHO लगता है जैसे DB का उपयोग करना कम काम होगा।
—
रोडमेरा
कैशिंग के लिए एक और विकल्प जो आपके मॉडल को बेहतर ढंग से फिट करेगा, वह मेमेकैड या रेडिस हो सकता है। वे प्रमुख मूल्य भंडार हैं (इसलिए वे एकल निर्देशिका की तरह कार्य करते हैं और आप केवल नाम से आइटम एक्सेस करते हैं)। Redis लगातार है (पुनरारंभ होने पर डेटा नहीं खोएगा) जहां मेमेकैस्ट अधिक अस्थायी वस्तुओं के लिए है।
—
स्टीफन ओस्टरमिलर
यहाँ चिकन और अंडे की समस्या है। टूल डेवलपर्स बड़ी संख्या में फाइलों के साथ निर्देशिकाओं को संभाल नहीं पाते हैं क्योंकि लोग ऐसा नहीं करते हैं। और लोग बड़ी संख्या में फ़ाइलों के साथ निर्देशिका नहीं बनाते हैं क्योंकि उपकरण इसे अच्छी तरह से समर्थन नहीं करते हैं। उदाहरण के लिए, मैं एक समय में समझता हूं (और मेरा मानना है कि यह अभी भी सच है),
os.listdirअजगर में जनरेटर संस्करण बनाने के लिए एक सुविधा अनुरोध को इस कारण से स्पष्ट रूप से अस्वीकार कर दिया गया था।
अपने स्वयं के अनुभव से मैंने लिनक्स 2.6 पर एक एकल निर्देशिका में 32k फ़ाइलों पर जाने पर टूटना देखा है। इस बिंदु से आगे बढ़ना संभव है, लेकिन मैं इसकी सिफारिश नहीं करूंगा। बस उपनिर्देशिका की कुछ परतों में विभाजित करें और यह बहुत बेहतर होगा। व्यक्तिगत रूप से मैं इसे प्रति निर्देशिका लगभग 10,000 तक सीमित करूंगा जो आपको 2 परतें देगा।
—
वोल्फ
