हमारे पास काम पर एक मशीन होगी, जो कि चोटी के प्रदर्शन पर, प्रति घंटे 50 ("राइट्स हेड") x 75GB डेटा को पुश करने में सक्षम होना चाहिए । वह पीक परफॉर्मेंस ~ 1100MB / s राइट स्पीड है। मशीन से प्राप्त करने के लिए, इसे दो 10GBi लाइनों की आवश्यकता होती है। मेरा सवाल यह है कि इस तरह के डेटा फ्लो को सर्वर / टेक्नोलॉजी किस तरह से हैंडल / स्टोर कर सकती है?
वर्तमान में डेटा भंडारण के लिए हम ZFS के साथ काम करते हैं, हालांकि लिखने की गति कभी एक सवाल नहीं थी। (हम इन गति के करीब भी नहीं हैं) क्या ZFS (linux पर zfs) एक विकल्प होगा? हमें बहुत सारे डेटा संग्रहीत करने की आवश्यकता है, "आईटी गाइड" कुल मिलाकर 50-75 टीबी के बीच कहीं सुझाव देता है। जब तक हम अपने पहले जन्मे बच्चे की पेशकश नहीं करना चाहते, तब तक शायद यह सभी SSDs नहीं हो सकता।
उत्कृष्ट उत्तरों के आधार पर कुछ अतिरिक्त:
- चरम के दौरान अधिकतम 50x75GB / घंटा है जो 24h से कम है (सबसे अधिक संभावना <6h)
- हम जल्द ही ऐसा होने की उम्मीद नहीं करते हैं, सबसे अधिक संभावना है कि हम 5-10x75 जीबी / घंटा चलेंगे
- यह एक पूर्व-अल्फा मशीन है, हालांकि आवश्यकताओं को पूरा किया जाना चाहिए (भले ही बहुत सारे प्रश्न चिह्न खेलने में हों)
- हम मशीन से सर्वर से कनेक्शन के रूप में एनएफएस का उपयोग करेंगे
- लेआउट: जनरेटिंग मशीन -> स्टोरेज (यह एक) -> (सुरक्षित छापे 6) -> कंप्यूट क्लस्टर
- इसलिए पढ़ने की गति आवश्यक नहीं है , लेकिन यह कंप्यूट क्लस्टर से उपयोग करना अच्छा होगा (लेकिन यह पूरी तरह से वैकल्पिक है)
- सबसे अधिक संभावना है कि यह बड़ी डेटा फ़ाइलों (बहुत छोटे नहीं) होने जा रहा है