एचडीएफ 5 के विकल्प

Question

मैं वर्षों से HDF5 का उपयोग कर रहा हूं, लेकिन जैसे-जैसे डेटासेट का आकार बढ़ता है, वैसे-वैसे मैं यहां सूचीबद्ध समस्याओं का अनुभव करना शुरू कर रहा हूं

http://cyrille.rossant.net/moving-away-hdf5/

क्या आप मुझे एचडीएफ 5 जैसे प्रारूप की ओर इशारा कर सकते हैं - समानांतर लेखन के लिए अच्छा समर्थन - विशाल मैट्रिसेस की चुन्नटदार पहुँच के लिए समर्थन

मेरा विशिष्ट उपयोग मामला 100k x 100k पूर्णांक मैट्रिक्स है। मैं इसे तार्किक दृष्टिकोण से पूरी फ़ाइल के रूप में रखना चाहता हूं, लेकिन मुझे इसे समानांतर श्रमिकों के साथ ठग द्वारा लिखना आवश्यक है।

Comments

क्या आप बता सकते हैं कि आपको किस प्रकार के डेटासेट को निर्यात करने की आवश्यकता है? यह आपके प्रश्न का उत्तर देने वाले लोगों के लिए उपयोगी हो सकता है। मैंने HDF5 के साथ-साथ netcfd पर भी विचार किया है। लेकिन ये कुछ डेटा सेट के लिए अधिक सक्षम हो सकते हैं।

— चार्ल्स

संकुचित VTK विखंडू का समर्थन करता है। आप समानांतर कई फ़ाइलों को सहेज सकते हैं और पीवीडी मेटा फ़ाइल का उपयोग करके इसे एक साथ मर्ज कर सकते हैं। आपके डेटासेट का आकार क्या है?

— Krzysztof Bzowski

आपके संपादन के बाद - chunked VTK एक अच्छा निर्णय नहीं है।

— Krzysztof Bzowski

आपने क्या उपयोग किया है?

— helpan.plenert.macdonald

@ helpan.penert.macdonald मैंने MPI के साथ समानांतर राइट्स का उपयोग करते हुए hdf5 के साथ रखा। लेकिन मुझे

— एमजी

Answer 1

एचडीएफ 5 कुछ हद तक, अपने आप ही एक फाइलसिस्टम है। बी-पेड़ लगाने और ब्लॉक करने के तरीके से यह एक फाइल सिस्टम की कार्यक्षमता को डुप्लिकेट करता है। जब आप अपना कोड चला रहे होते हैं, तो आप इसे एक सिद्ध और स्केलेबल फाइल सिस्टम के साथ ऑपरेटिंग सिस्टम पर चला रहे होते हैं। इसलिए, मैं आपके संख्यात्मक डेटा को कच्ची फ़ाइल एक्सेस या MPI-IO का उपयोग करके एक एकल फ़ाइल में लिखने का सुझाव दूंगा और मेटा-डेटा (एंडियन, आकार, विशेषताएँ, आदि) को एक अलग JSON या XML फ़ाइल में लिखूंगा। यदि आपके पास कई डेटासेट हैं, तो आप उन्हें एक निर्देशिका या निर्देशिका के पदानुक्रम में व्यवस्थित कर सकते हैं। जब आप डेटासेट वितरित करना चाहते हैं, तो आपको इसे एक ज़िप फ़ाइल में पैक करना होगा।

केवल नकारात्मक पक्ष यह है कि आपको एंडियननेस से निपटना होगा खुद , जो कि, हालांकि, कठिन नहीं है ।

यह कैसे किया जा सकता है , इस पर एक प्रेरणा के लिए , ड्रैगली, एट देखें । अल। "ए। प्रायोगिक निर्देशिका संरचना (एक्सडिर): एक नई फ़ाइल प्रारूप का परिचय बिना HDF5 के लिए एक विकल्प" मोर्चा। न्यूरोइन्फॉर्म।, 2018, 12 ।