9x7-ड्राइव raidz2 पर धीमी क्रमिक गति (ZFS ZoL 0.8.1)


9

मैं 256K + अनुरोध आकार अनुक्रमिक पढ़ने के लिए बनाया गया एक बड़ा ZFS पूल चला रहा हूं और Ubuntu 9.04 पर iSCSI (बैकअप के लिए) के माध्यम से लिखता हूं। उच्च थ्रूपुट और अंतरिक्ष दक्षता की आवश्यकता को देखते हुए और यादृच्छिक छोटे-ब्लॉक प्रदर्शन के लिए कम आवश्यकता को देखते हुए, मैं धारीदार दर्पणों पर धारीदार raidz2 के साथ गया।

हालाँकि, 256K क्रमिक पठन प्रदर्शन मेरी अपेक्षा से बहुत कम है (100 - 200MBps, चोटियाँ 600MBps तक)। जब जोवॉस्ट आयस्टैट में ~ 99% आयोवाइट मार रहे हैं, तो बैकिंग डिवाइस आमतौर पर 10 और 40% आयोवाइट के बीच चलते हैं, जो मुझे अड़चन का सुझाव देता है कि मैं कॉन्फ़िगरेशन में कुछ याद कर रहा हूं, क्योंकि यह बैकप्लेन या सीपीयू नहीं होना चाहिए। यह प्रणाली, और अनुक्रमिक वर्कलोड ARC को बहुत कठिन काम नहीं करना चाहिए।

मैंने मॉड्यूल पैरामीटर्स के साथ थोड़ा सा खेला है (नीचे वर्तमान विन्यास), सैकड़ों लेख पढ़ें, OpenZFS github पर मुद्दे, आदि ट्यूनिंग प्रीफैच और एकत्रीकरण मुझे इस प्रदर्शन स्तर पर मिला - डिफ़ॉल्ट रूप से, मैं लगभग ~ 50 एमबीपीएस पर चल रहा था क्रमिक रीडिंग के रूप में ZFS डिस्क (~ 16K) के लिए टिनि अनुरोध भेज रहा था। एकत्रीकरण और प्रीफ़ैच के साथ काम करना ठीक है (मुझे लगता है), डिस्क रीड बहुत अधिक हैं, iostat में औसतन लगभग 64K।

NICs CIOgbit offload के साथ LIO iscsi का लक्ष्य हैं + Windows Chelsio iscsi आरंभकर्ता ZFS zvols के बाहर अच्छी तरह से काम करते हैं, एक Optane के साथ सीधे NIC (लगभग 3.5GBps पढ़े और लिखें) पर पूरी लाइन-दर वापस लौटते हैं।

क्या मैं बहुत अधिक अपेक्षा कर रहा हूं? मुझे पता है कि जेडएफएस प्रदर्शन पर सुरक्षा को प्राथमिकता देता है, लेकिन मैं एक 9-ड्राइव mdadm raid6 की तुलना में बेहतर अनुक्रमिक रीड्स प्रदान करने के लिए 7x9 raidz2 की अपेक्षा करूंगा।

सिस्टम चश्मा और लॉग / विन्यास फाइल:

Chassis: Supermicro 6047R-E1R72L
HBAs: 3x 2308 IT mode (24x 6Gbps SAS channels to backplanes)
CPU: 2x E5-2667v2 (8 cores @ 3.3Ghz base each)
RAM: 128GB, 104GB dedicated to ARC
HDDs: 65x HGST 10TB HC510 SAS (9x 7-wide raidz2 + 2 spares)
SSDs: 2x Intel Optane 900P (partitioned for mirrored special and log vdevs)
NIC: Chelsio 40GBps (same as on initiator, both using hw offloaded iSCSI)
OS: Ubuntu 18.04 LTS (using latest non-HWE kernel that allows ZFS SIMD)
ZFS: 0.8.1 via PPA
Initiator: Chelsio iSCSI initiator on Windows Server 2019

पूल विन्यास:

ashift=12
recordsize=128K (blocks on zvols are 64K, below)
compression=lz4
xattr=sa
redundant_metadata=most
atime=off
primarycache=all

ZVol कॉन्फ़िगरेशन:

sparse
volblocksize=64K (matches OS allocation unit on top of iSCSI)

पूल लेआउट:

7x 9-wide raidz2
mirrored 200GB optane special vdev (SPA metadata allocation classes)
mirrored 50GB optane log vdev

/etc/modprobe.d/zfs.conf:

# 52 - 104GB ARC, this system does nothing else
options zfs zfs_arc_min=55834574848
options zfs zfs_arc_max=111669149696

# allow for more dirty async data
options zfs zfs_dirty_data_max_percent=25
options zfs zfs_dirty_data_max=34359738368

# txg timeout given we have plenty of Optane ZIL
options zfs zfs_txg_timeout=5

# tune prefetch (have played with this 1000x different ways, no major improvement except max_streams to 2048, which helped, I think)
options zfs zfs_prefetch_disable=0
options zfs zfetch_max_distance=134217728
options zfs zfetch_max_streams=2048
options zfs zfetch_min_sec_reap=3
options zfs zfs_arc_min_prefetch_ms=250
options zfs zfs_arc_min_prescient_prefetch_ms=250
options zfs zfetch_array_rd_sz=16777216

# tune coalescing (same-ish, increasing the read gap limit helped throughput in conjunction with low async read max_active, as it caused much bigger reads to be sent to the backing devices)
options zfs zfs_vdev_aggregation_limit=16777216
options zfs zfs_vdev_read_gap_limit=1048576
options zfs zfs_vdev_write_gap_limit=262144

# ZIO scheduler in priority order 
options zfs zfs_vdev_sync_read_min_active=1
options zfs zfs_vdev_sync_read_max_active=10
options zfs zfs_vdev_sync_write_min_active=1
options zfs zfs_vdev_sync_write_max_active=10
options zfs zfs_vdev_async_read_min_active=1
options zfs zfs_vdev_async_read_max_active=2
options zfs zfs_vdev_async_write_min_active=1
options zfs zfs_vdev_async_write_max_active=4

# zvol threads
options zfs zvol_threads=32

मैं इस पर अपने बाल फाड़ रहा हूं। स्टोरेज स्पेस के साथ ऑल-विंडोज पर जाने के लिए यूजर्स का प्रेशर ऑन है, लेकिन मैंने पैरिटी स्टोरेज स्पेस (यहां तक ​​कि शीट्स के साथ स्टोरेज स्पेस डायरेक्ट के साथ भी) का इस्तेमाल किया है, और यह बहुत सुंदर भी नहीं है। मुझे iSCSI के तहत सीधे mdadm raid60 पर जाने के लिए लुभाया जाता है, लेकिन अगर किसी को कुछ बोहनी हो सकती है तो मुझे यह पसंद आएगा, मुझे याद आ रहा है कि ZFS के बिट्रो प्रोटेक्शन के साथ प्रदर्शन अनलॉक होगा :)

जवाबों:


7

अच्छा प्रश्न।

  • मुझे लगता है कि आपके विरल ज़वोल ब्लॉक का आकार 128k होना चाहिए।
  • आपकी ZIO शेड्यूलर सेटिंग सभी उच्च होनी चाहिए, जैसे न्यूनतम 10 और अधिकतम 64।
  • zfs_txg_timeout अधिक लंबा होना चाहिए। मैं अपने सिस्टम पर 15 या 30s करता हूं।
  • मुझे लगता है कि कई RAIDZ3 (या यह था कि एक टाइपो) ओवरकिल है और प्रदर्शन में एक बड़ा हिस्सा निभाते हैं। आप RAIDZ2 के साथ बेंचमार्क कर सकते हैं?

संपादित करें: सिस्टम पर Netdata स्थापित करें और उपयोग और ZFS आँकड़ों की निगरानी करें।

Edit2: यह एक Veeam रिपॉजिटरी के लिए है। Veeam एक लक्ष्य के रूप में लिनक्स का समर्थन करता है, और ZFS के साथ अद्भुत काम करता है। क्या आप अपने डेटा के साथ बेंचमार्किंग पर विचार करेंगे? जब तक एनआईसी का भार समाधान का एक महत्वपूर्ण हिस्सा नहीं है, तब तक आप क्या कर रहे हैं, इसके लिए zvols एक आदर्श उपयोग मामला नहीं है।


धन्यवाद! Z3 को छोड़कर, अनुवर्ती टिप्पणियों में बिंदु द्वारा बिंदु, जो वास्तव में एक टाइपो :) था। Volblocksize पर, मैंने 128k और 64k दोनों के साथ परीक्षण किया है, और प्रदर्शन अनुक्रमिक रीडर्स के लिए बहुत अधिक नहीं बदला है। 128k संभवतः थोड़ा अधिक स्थान-कुशल होगा, लेकिन 64k सर्जक क्लाइंट OS आवंटन इकाई के आकार से मेल खाता है, और यादृच्छिक i / o परिदृश्यों (जो दुर्लभ हैं) में काफी बेहतर करता है, जबकि क्रमिक i / o परिदृश्यों में ज्यादा फर्क नहीं पड़ता है ।
obrienmd

मैं txg_timeout के साथ उच्चतर परीक्षण करूंगा - क्या कम से कम अनुक्रमिक पाठ के लिए यह बात होगी? बैकिंग डिस्क पर कम आयोवाइट को देखते हुए, ऐसा नहीं लगता था कि लेखन फ्लश औसत रीड गति को बहुत अधिक प्रभावित / प्रभावित कर रहे थे।
obrienmd

1
सबसे दिलचस्प प्रतिक्रिया मैं तुम्हारे लिए है (मुझे लगता है) ZIO अनुसूचक के लिए है। जब मैं सुई को async mins और maxes पर ले जाता हूं, तो यह io एकत्रीकरण को नष्ट कर देता है और शुद्ध परिणाम काफी खराब होता है। पढ़ता है, जो कि मैं वास्तव में यहाँ के बारे में परवाह है के रूप में लिखता है महान हैं, 10/64 के लिए जा रहा है डिस्क में औसत IOs ~ 16KB iostat में, और औसत पढ़ने की गति में 75% की कटौती (~ 30 - 60MBps) उन डिस्क को दिया 'IOPS। मैंने भी # पढ़ा हुआ सिंक सिंक किया है और ज्यादा प्रभावित नहीं देखा है, लेकिन मैं इस बात को ध्यान में रखते हुए एक और शॉट दूंगा :)
obrienmd

zfs zfs_dirty_data_max_percent = 25 - मैं आमतौर पर 40% या इससे अधिक का हूँ।
ewwhite

ओह, पढ़ता एक समस्या है? यह किस प्रकार का डेटा है? पूल कितना भरा है?
ewwhite
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.