Postgres में बड़ी मात्रा में पाठ संग्रहीत करने के लिए संपीड़न विकल्प क्या हैं?

Question

मुझे पोस्टग्रेज में मुख्य रूप से कमांड लॉग्स और लंबे समय तक चलने वाले कमांड के आउटपुट को स्टोर करने की आवश्यकता है और यह जानने की जरूरत है कि क्या कुछ सेटिंग्स हैं जो डेटा को zlib जैसे टूल के साथ पारदर्शी रूप से संपीड़ित करने में मदद कर सकती हैं, या कुछ अन्य नेटिव स्पेस सेविंग मेथड ।

डेटा मुख्य रूप से केवल डेटा पढ़ा जाता है, इसलिए लेखन एक समस्या नहीं है।

Comments

मैनुअल से : " लंबे तार स्वचालित रूप से सिस्टम द्वारा संपीड़ित होते हैं " और यहां एक अधिक विस्तृत विवरण दिया गया है: postgresql.org/docs/current/static/storage-toast.html

— a_horse_with_no_4

हम हालांकि काफी कम अनुपात संपीड़न एल्गोरिथ्म का उपयोग करते हैं, क्योंकि इसमें सीपीयू की लागत कम होनी चाहिए। तो यह अभी भी EXTERNALस्तंभ पर एक और प्रकार के संकलन और भंडारण स्थापित करने के लायक हो सकता है ।

— क्रेग रिंगर

@ क्रेगिंगर जब आप कहते हैं कि संपीड़न का एक और रूप है, तो क्या आपका मतलब है कि कुछ अतिरिक्त पोस्टग्रेज विकल्प सेट करना, या कुछ अतिरिक्त मॉड्यूल संकलित करना, चाहे एक तैयार पुस्तकालय या आपका अपना कोई हो?

— vfclists

Answer 1

डिफ़ॉल्ट रूप से पोस्टग्रैट्स स्वचालित रूप से सब कुछ को संक्षिप्त कर देता है। यह एक सरल लोज़कोमर्स एल्ग्रोथर्म का उपयोग करता है:

https://www.postgresql.org/docs/9.3/storage-toast.html

वहाँ एक प्लगइन है जो शायद TZ के लिए LZ4 संपीड़न समर्थन के लिए विकसित होगा:

https://github.com/zilder/pg_lz4

एक FDW है जो संपीड़न का भी समर्थन करता है:

https://www.citusdata.com/blog/2014/04/03/columnar-store-for-analytics/