लिनक्स के साथ होम-काढ़ा स्वचालित tiered भंडारण समाधान? (मेमोरी -> एसएसडी -> एचडीडी -> रिमोट स्टोरेज)


13

डेटा के लिए सिस्टम और HDD के लिए SSD का उपयोग करने के बारे में इस प्रश्न से संबंधित , सिवाय इसके कि मैं अपने सिस्टम को यह स्वचालित रूप से करना चाहूंगा ...

क्या अधिमानतः नि: शुल्क, ओपन-सोर्स सॉफ़्टवेयर का उपयोग करके उनके बीच स्वचालित रूप से भंडारण और पुश आइटम की कई परतें होना संभव है?

मैं ईएमसी SAN-> की तरह बेहद महंगा एंटरप्राइज़-क्लास समाधान के बारे में पता ईएमसी सेंटेरा स्वत: संग्रह, लेकिन अगर मंचन भंडारण की इस तरह स्वचालित रूप से ऐसा करना संभव है मैं सोच रहा था।

इस में कई परतें होने में सक्षम होना अच्छा होगा: मेमोरी-> एसएसडी-> एचडीडी-> धीमी एचडीडी या टेप या कुछ अन्य संग्रह समाधान।

क्या कोई फाइल सिस्टम है जो यह स्वचालित रूप से कर सकता है? (ZFS, Btrfs, हथौड़ा?)

किसी भी यूनिक्स- वेरिएंट ठीक हैं, क्योंकि मुझे इसमें दिलचस्पी है कि यह कैसे काम करता है और क्या यह लिनक्स या अन्य स्वादों (बीएसडी आदि) के पोर्टेबल होने की संभावना है।

जवाबों:


14

खैर, ZFS हाइब्रिड स्टोरेज पूल (HSP) नामक स्टोरेज लेयरिंग का उपयोग करता है :

  1. परत: स्मृति
  2. परत: SSD- आधारित रीड-कैश (L2ARC) और राइट-कैश (अलग आशय लॉग aka slog)।
  3. परत: (सस्ते) हार्डडिस्क

एचएसपी के साथ हार्डडिस्क-ओनली सॉल्यूशन की तुलना में एसएसडी के फायदे से स्वचालित रूप से लाभान्वित होना आसान है। एचएसपी का उपयोग करने वाला सिस्टम बाद की तुलना में तेज और सस्ता दोनों हो सकता है। देखें इस लिंक कुछ अच्छा उदाहरण और अधिक जानकारी के लिए।

मुझे लगता है कि ZFS के लिए पदानुक्रमित भंडारण प्रबंधन (HSM) के बारे में योजनाएं हैं ( उदाहरण के लिए स्वचालित डेटा माइग्रेशन (ADM) ओपनसोलारिस परियोजना) लेकिन मुझे इसकी वर्तमान स्थिति के बारे में जानकारी नहीं है।


यह वही है जो मैं सोच रहा था, धन्यवाद! (अब लिनक्स पोर्ट पर मदद करने के लिए ...)
डेविड गार्डनर

मैं इस टियरिंग को नहीं बल्कि कैशिंग कहूंगा। अर्थ में कैशिंग साधन अक्सर इस्तेमाल किया ब्लॉक के एक कॉपी बना रहा, स्तरीकरण कि चलती धीमी / तेजी से भंडारण करने के लिए डेटा। अगर मैं इसे सही तरीके से समझता हूं तो मैं ZFS में आशय लॉग को वास्तविक राइट कैश नहीं कहूंगा।
मृगी


5

टीआईईआर आपकी आवश्यकताओं का जवाब देता है यह एक लिनक्स कर्नेल मॉड्यूल है जो एक टियरेड स्टोरेज बना सकता है। ऐसा लगता है कि यह पैटर्न खुद ही सीख गया है और स्टोरेज में प्लेसमेंट को ऑप्टिमाइज़ करता है

http://www.lessfs.com/wordpress/?p=776


बस देखा गया सवाल पुराना है ... क्षमा करें ^ ^ '
Dolanor

2
पुराने प्रश्नों को पुनर्जीवित करना उन पर पुरानी और पुरानी जानकारी के साथ घूमने से बेहतर है!
डेविड गार्डनर

मुझे चिंता है कि यह आदमी अतिरिक्त क्षमता के लिए अतिरेक को कम करना चाहता है (विशेषकर जब एसएसडी तुलनात्मक रूप से छोटे और अविश्वसनीय हैं)।
तोबू

यह भी चिंतित है कि वह समाधान के रूप में छापे का सुझाव देता है, जब प्रयोगात्मक सॉफ्टवेयर को बैकअप की सबसे अधिक आवश्यकता होती है।
तोबू

यहाँ अधिक सकारात्मक प्रतिक्रिया का एक सा है, हालांकि: permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316
टोबू

1

मेरे अपने प्रश्न का उत्तर मुझे कुछ मिला है:

मैं सिर्फ कर्नेल को अपडेट कर रहा था और जो नया सामान जोड़ा गया है उसे देख रहा था, और अब एक 'CACHEFILES' विकल्प है जो स्थानीय फाइल सिस्टम के लिए कैशिंग (आमतौर पर दूरस्थ) फाइल सिस्टम के लिए अनुमति देता है। मुझे लगता है कि मैं इसका उपयोग धीमी भंडारण तंत्र (एचडीडी) को तेजी से एक (एसएसडी) में कैश करने के लिए कर सकता हूं, कम से कम एक स्तर के पदानुक्रम के लिए।


क्या आपने इस समाधान की कोशिश की? यह कैसा प्रदर्शन करता है?
स्कोलिमा

1
कोई बात नहीं - मुझे पता चला कि CacheFS अब केवल NFS और AFS का समर्थन करता है।
स्कोलिमा

इसके लिए नेटवर्क फाइलसिस्टम का उपयोग करना एक बुरा विचार नहीं है, वे कर्नेल पैचसेट की तुलना में बहुत तेजी से परिपक्व होते हैं। मुझे आश्चर्य है कि अगर सेफ या DRBD में टियरेड स्टोरेज के लिए उपयोगी मोड हैं।
तोबू

1

कुछ प्रासंगिक लिंक YMMV।

http://code.google.com/p/fscops/ - "ऑनलाइन श्रेणीबद्ध संग्रहण प्रबंधक (OHSM) एक एंटरप्राइज़ स्तर के ओपन सोर्स डेटा स्टोरेज मैनेजर की ओर पहला प्रयास है जो स्वचालित रूप से उच्च-लागत और कम-लागत संग्रहण के बीच डेटा ले जाता है मीडिया। "।

http://www.tack.ch/unix/dmapi/ - लिनक्स के तहत XFS + DMAPI

http://jfs.sourceforge.net/ - लिनक्स के तहत JFS + DMAPI


OHSM परियोजना का अनुसरण करने के लिए एक दिलचस्प की तरह दिखता है। केवल ext2 और 2.6.30 कर्नेल अभी के लिए समर्थित है, लेकिन मुझे उम्मीद है कि अगर यह अच्छी तरह से काम करता है तो यह अधिक फाइल सिस्टम प्राप्त करेगा।
डेविड गार्डनर

यह परियोजना परित्यक्त दिखती है, सबसे हाल की गतिविधि 2009 में थी।
sendmoreinfo

1

RAID नियंत्रक इनमें से कुछ सुविधाएँ प्रदान करते हैं।

"उच्च क्षमता, उच्च-प्रदर्शन नियंत्रक कैश पूल बनाने के लिए HDD संस्करणों के सामने SSDs का लाभ उठाता है"

http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx


0

LVM2 स्नैपशॉट मन में आते हैं ... लेकिन आप वास्तव में एक स्नैपशॉट से अधिक नहीं कर सकते।


हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.