मैं ESXi में NFS डेटास्टोर्स पर लगभग पाँच सेकंड के fsync विलंबता का अनुभव कर रहा हूँ , कुछ VMs द्वारा ट्रिगर किया गया। मुझे संदेह है कि यह VMQ NCQ / TCQ का उपयोग करके हो सकता है, क्योंकि वर्चुअल IDE ड्राइव के साथ ऐसा नहीं होता है।
इसे fsync- टेस्टर (टेड Ts'o द्वारा) और आयोपिंग का उपयोग करके पुन: पेश किया जा सकता है । उदाहरण के लिए 8GB डिस्क के साथ Grml लाइव सिस्टम का उपयोग कर:
Linux 2.6.33-grml64:
root@dynip211 /mnt/sda # ./fsync-tester
fsync time: 5.0391
fsync time: 5.0438
fsync time: 5.0300
fsync time: 0.0231
fsync time: 0.0243
fsync time: 5.0382
fsync time: 5.0400
[... goes on like this ...]
यह 5 सेकंड है, मिलीसेकंड नहीं। यह भी एक ही मेजबान और डेटास्टोर पर चल रहे एक अलग VM पर IO- विलंबता पैदा कर रहा है :
root@grml /mnt/sda/ioping-0.5 # ./ioping -i 0.3 -p 20 .
4096 bytes from . (reiserfs /dev/sda): request=1 time=7.2 ms
4096 bytes from . (reiserfs /dev/sda): request=2 time=0.9 ms
4096 bytes from . (reiserfs /dev/sda): request=3 time=0.9 ms
4096 bytes from . (reiserfs /dev/sda): request=4 time=0.9 ms
4096 bytes from . (reiserfs /dev/sda): request=5 time=4809.0 ms
4096 bytes from . (reiserfs /dev/sda): request=6 time=1.0 ms
4096 bytes from . (reiserfs /dev/sda): request=7 time=1.2 ms
4096 bytes from . (reiserfs /dev/sda): request=8 time=1.1 ms
4096 bytes from . (reiserfs /dev/sda): request=9 time=1.3 ms
4096 bytes from . (reiserfs /dev/sda): request=10 time=1.2 ms
4096 bytes from . (reiserfs /dev/sda): request=11 time=1.0 ms
4096 bytes from . (reiserfs /dev/sda): request=12 time=4950.0 ms
जब मैं पहले VM को स्थानीय भंडारण में ले जाता हूं तो यह पूरी तरह से सामान्य लगता है:
root@dynip211 /mnt/sda # ./fsync-tester
fsync time: 0.0191
fsync time: 0.0201
fsync time: 0.0203
fsync time: 0.0206
fsync time: 0.0192
fsync time: 0.0231
fsync time: 0.0201
[... tried that for one hour: no spike ...]
मैंने कोशिश की है कि कोई फर्क नहीं पड़ता:
- कई ESXi बिल्ड का परीक्षण किया गया: 381591, 348481, 260247
- विभिन्न हार्डवेयर, विभिन्न इंटेल और एएमडी बक्से पर परीक्षण किया गया
- विभिन्न एनएफएस सर्वरों के साथ परीक्षण किया गया, सभी समान व्यवहार दिखाते हैं:
- OpenIndiana b147 (हमेशा या अक्षम ZFS सिंक: कोई अंतर नहीं)
- OpenIndiana b148 (हमेशा या अक्षम ZFS सिंक: कोई अंतर नहीं)
- लिनक्स 2.6.32 (सिंक या एसिक्स: कोई अंतर नहीं)
- इससे कोई फर्क नहीं पड़ता कि NFS सर्वर एक ही मशीन पर (वर्चुअल स्टोरेज उपकरण के रूप में) या अलग होस्ट पर है
अतिथि OS का परीक्षण, समस्याएँ दिखा रहा है:
- विंडोज 7 64 बिट (क्रिस्टलडिस्कमार का उपयोग करके, लेटेंसी स्पाइक्स ज्यादातर चरण तैयार करने के दौरान होता है)
- लिनक्स 2.6.32 (fsync- परीक्षक + आयोपिंग)
- लिनक्स 2.6.38 (fsync- परीक्षक + आयोपिंग)
मैं लिनक्स 2.6.18 वीएम पर इस समस्या को पुन: पेश नहीं कर सका।
वर्चुअल IDE डिस्क (बनाम SCSI / SAS) का उपयोग करने के लिए एक और समाधान है, लेकिन वह प्रदर्शन और प्रति वीएम ड्राइव की संख्या को सीमित कर रहा है।
2011-06-30 अपडेट करें:
यदि एप्लिकेशन fsync से पहले कई छोटे ब्लॉकों में लिखता है तो विलंबता स्पाइक्स अधिक बार होता है। उदाहरण के लिए fsync- परीक्षक ऐसा करता है (स्ट्रेस आउटपुट):
pwrite(3, "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa"..., 1048576, 0) = 1048576
fsync(3) = 0
फाइल तैयार करते समय आईपिंग ऐसा करता है:
[lots of pwrites]
pwrite(3, "********************************"..., 4096, 1036288) = 4096
pwrite(3, "********************************"..., 4096, 1040384) = 4096
pwrite(3, "********************************"..., 4096, 1044480) = 4096
fsync(3) = 0
आयोपिंग का सेटअप चरण लगभग हमेशा लटका रहता है, जबकि fsync- परीक्षक कभी-कभी ठीक काम करता है। क्या कोई व्यक्ति कई छोटे ब्लॉक लिखने के लिए fsync- परीक्षक को अपडेट करने में सक्षम है? मेरी सी कौशल चूसना;)
अद्यतन 2011-07-02:
यह समस्या iSCSI के साथ नहीं होती है। मैंने OpenIndiana COMSTAR iSCSI सर्वर के साथ यह कोशिश की। लेकिन iSCSI आपको VMDK फ़ाइलों तक आसान पहुँच नहीं देता है, ताकि आप उन्हें स्नैपशॉट और rsync के साथ मेजबानों के बीच स्थानांतरित कर सकें।
अपडेट 2011-07-06:
यह एक वायरशार्क कैप्चर का हिस्सा है, जिसे उसी वीस्विच पर तीसरे वीएम द्वारा कब्जा कर लिया गया है। यह सब एक ही मेजबान पर होता है, इसमें कोई भौतिक नेटवर्क शामिल नहीं है।
मैंने समय 20 के आसपास आयोडिंग शुरू कर दी है। पांच सेकंड की देरी खत्म होने तक कोई पैकेट नहीं भेजा गया था:
No. Time Source Destination Protocol Info
1082 16.164096 192.168.250.10 192.168.250.20 NFS V3 WRITE Call (Reply In 1085), FH:0x3eb56466 Offset:0 Len:84 FILE_SYNC
1083 16.164112 192.168.250.10 192.168.250.20 NFS V3 WRITE Call (Reply In 1086), FH:0x3eb56f66 Offset:0 Len:84 FILE_SYNC
1084 16.166060 192.168.250.20 192.168.250.10 TCP nfs > iclcnet-locate [ACK] Seq=445 Ack=1057 Win=32806 Len=0 TSV=432016 TSER=769110
1085 16.167678 192.168.250.20 192.168.250.10 NFS V3 WRITE Reply (Call In 1082) Len:84 FILE_SYNC
1086 16.168280 192.168.250.20 192.168.250.10 NFS V3 WRITE Reply (Call In 1083) Len:84 FILE_SYNC
1087 16.168417 192.168.250.10 192.168.250.20 TCP iclcnet-locate > nfs [ACK] Seq=1057 Ack=773 Win=4163 Len=0 TSV=769110 TSER=432016
1088 23.163028 192.168.250.10 192.168.250.20 NFS V3 GETATTR Call (Reply In 1089), FH:0x0bb04963
1089 23.164541 192.168.250.20 192.168.250.10 NFS V3 GETATTR Reply (Call In 1088) Directory mode:0777 uid:0 gid:0
1090 23.274252 192.168.250.10 192.168.250.20 TCP iclcnet-locate > nfs [ACK] Seq=1185 Ack=889 Win=4163 Len=0 TSV=769821 TSER=432716
1091 24.924188 192.168.250.10 192.168.250.20 RPC Continuation
1092 24.924210 192.168.250.10 192.168.250.20 RPC Continuation
1093 24.924216 192.168.250.10 192.168.250.20 RPC Continuation
1094 24.924225 192.168.250.10 192.168.250.20 RPC Continuation
1095 24.924555 192.168.250.20 192.168.250.10 TCP nfs > iclcnet_svinfo [ACK] Seq=6893 Ack=1118613 Win=32625 Len=0 TSV=432892 TSER=769986
1096 24.924626 192.168.250.10 192.168.250.20 RPC Continuation
1097 24.924635 192.168.250.10 192.168.250.20 RPC Continuation
1098 24.924643 192.168.250.10 192.168.250.20 RPC Continuation
1099 24.924649 192.168.250.10 192.168.250.20 RPC Continuation
1100 24.924653 192.168.250.10 192.168.250.20 RPC Continuation
दूसरा अपडेट 2011-07-06:
टीसीपी खिड़की के आकार से कुछ प्रभाव प्रतीत होता है। मैं NFS सर्वर के रूप में FreeNAS (FreeBSD पर आधारित) का उपयोग करके इस समस्या को पुन: उत्पन्न करने में सक्षम नहीं था। वायरशार्क कैप्चर ने नियमित अंतराल में 29127 बाइट्स के लिए टीसीपी विंडो अपडेट दिखाए। मैंने उन्हें ओपनइंडियाना के साथ नहीं देखा, जो डिफ़ॉल्ट रूप से बड़े विंडो आकारों का उपयोग करता है।
यदि मैं OpenIndiana में निम्न विकल्प सेट करता हूं और NFS सर्वर को पुनरारंभ करता हूं, तो मैं इस समस्या को पुन: उत्पन्न नहीं कर सकता:
ndd -set /dev/tcp tcp_recv_hiwat 8192 # default is 128000
ndd -set /dev/tcp tcp_max_buf 1048575 # default is 1048576
लेकिन यह प्रदर्शन को मारता है: dd_rescue के साथ फ़ाइल के लिए / dev / शून्य से लेखन 170MB / s से 80MB / s तक जाता है।
अपडेट 2011-07-07:
मैंने इस tcpdump कैप्चर को अपलोड किया है (वायरशार्क के साथ इसका विश्लेषण किया जा सकता है)। इस स्थिति में 192.168.250.2 NFS सर्वर (OpenIndiana b148) और 192.168.250.10 ESXi होस्ट है।
इस कैप्चर के दौरान मैंने जिन चीजों का परीक्षण किया है:
शुरू किया "इपिंग -w 5 -i 0.2।" समय पर 30, 5 सेकंड हैंग इन सेटअप, समय पर पूरा 40।
शुरू किया "इपिंग -w 5 -i 0.2।" समय पर 60, सेटअप में 5 सेकंड लटका, समय 70 पर पूरा हुआ।
90 के समय में "fsync-tester" शुरू किया, निम्नलिखित आउटपुट के साथ, समय 120 पर रोक दिया गया:
fsync time: 0.0248
fsync time: 5.0197
fsync time: 5.0287
fsync time: 5.0242
fsync time: 5.0225
fsync time: 0.0209
दूसरा अपडेट 2011-07-07:
एक और NFS सर्वर VM का परीक्षण किया, इस बार NexentaStor 3.0.5 सामुदायिक संस्करण: समान समस्याएं दिखाता है।
अद्यतन 2011-07-31:
मैं इस समस्या को नए ESXi बिल्ड 4.1.0.433742 पर भी पुन: पेश कर सकता हूं।