संभावित विधि # 1 - F_DROP_CACHES
मुझे 2012 से एक विधि मिली, जो इस मेल थ्रेड में लिनक्स कर्नेल के लिए प्रस्तावित पैच की चर्चा करती है जिसका शीर्षक है: Re: [RFC Patch] fs: प्रति फ़ाइल ड्रॉप कैश लागू करें ।
अंश
Cong> यह प्रति फ़ाइल ड्रॉप कैश लागू करने का एक मसौदा पैच है।
दिलचस्प। तो क्या मैं इसे एक प्रक्रिया से बाहर कर सकता हूं? मैं एक SysAdmin हूं, इसलिए मेरा POV सिस्टम के दबाव में प्रदर्शन समस्याओं को देखने, खोजने और ठीक करने से है।
Cong> It introduces a new fcntl command F_DROP_CACHES to drop
Cong> file caches of a specific file. The reason is that currently
Cong> we only have a system-wide drop caches interface, it could
Cong> cause system-wide performance down if we drop all page caches
Cong> when we actually want to drop the caches of some huge file.
मैं कैसे बता सकता हूं कि किसी फ़ाइल द्वारा कितना कैश का उपयोग किया जाता है? और व्यस्त सिस्टम पर चलने पर इसका प्रदर्शन प्रभाव क्या है? और यह पैच हमें क्या खरीदता है क्योंकि मैं वीएम को पहले से ही सिस्टम को दबाव में आने के बाद पहले ही कैश छोड़ देना चाहिए ...
कांग> नीचे इस पैच के लिए छोटा परीक्षण मामला है:
थ्रेड में एक टेक्सेकेस और वास्तविक पैच दोनों शामिल हैं लिनक्स कर्नेल के भीतर कई फाइलें जो कि एक अतिरिक्त फ़ंक्शन को fs/drop_caches.cकहते हैं drop_pagecache_file(struct file *filp)। यह फ़ंक्शन तब फ्रंटेंड टूल के fnctl.cमाध्यम से, कमांड के माध्यम से पहुंच योग्य है F_DROP_CACHES। यह मामला इस फ़ंक्शन को कॉल करता है:
file_drop_caches(filp, arg);
जो दिए गए फ़ाइल से जुड़े सभी कैश को छोड़ने का काम करता है। फ़ाइल से include/linux/mm.h:
void file_drop_caches(struct file *filp, unsigned long which);
तो इसका उपयोग किया जा सकता है?
मुझे इस बात का कोई सबूत नहीं मिला कि इस पैच ने कभी मुख्य लिनक्स कर्नेल कोड रिपॉजिटरी में अपना रास्ता बनाया, इसलिए यह विकल्प उपलब्ध प्रतीत होगा, केवल तभी जब आप लिनक्स कर्नेल को अपने आप को फिर से तैयार करने के लिए तैयार हों।
संभावित विधि # 2 - dd का उपयोग करना
उसी धागे में, एक अन्य उपयोगकर्ता पूरी तरह से अलग कार्यप्रणाली का उल्लेख करता है जो उपयोग करता है dd।
निम्नलिखित उस ईमेल का अंश है
यह उपयोगी कार्यक्षमता है। हालांकि यह पहले से ही प्रदान नहीं किया गया है
POSIX_FADV_DONTNEED? यह कार्यक्षमता एक साल पहले GNU dd (8.11) में जोड़ी गई थी ।
यहाँ उस पैच से उदाहरण दिए गए हैं:
पूरी फ़ाइल के लिए कैश छोड़ने की सलाह दें
$ dd if=ifile iflag=nocache count=0
पूरी फ़ाइल के लिए ड्रॉप कैश सुनिश्चित करें
$ dd of=ofile oflag=nocache conv=notrunc,fdatasync count=0
फ़ाइल के भाग के लिए कैश छोड़ें
$ dd if=ifile iflag=nocache skip=10 count=10 of=/dev/null
स्ट्रीम डेटा केवल पढ़ने के लिए आगे कैश का उपयोग कर
$ dd if=ifile of=ofile iflag=nocache oflag=nocache
इसका परीक्षण किया जा रहा है
मैं 100% सकारात्मक नहीं था कि इसका परीक्षण कैसे करूं लेकिन मैं निम्नलिखित दृष्टिकोण के साथ आया हूं।
एक 100MB फ़ाइल बनाओ
$ dd if=/dev/urandom of=sample.txt bs=100M count=1
ट्रेस फ़ाइल का उपयोग करके fatrace
$ sudo fatrace | grep sample.txt
चलाएं topताकि हम मेमोरी उपयोग, नोट राशि मुफ्त में देख सकें।
$ top
खुली फ़ाइल, अब मुफ्त मेमोरी की मात्रा नोट करें। fatraceफ़ाइल पर ध्यान दें sample.txt।
$ cat sample.txt > /dev/null
फ़ाइल को मेमोरी से ड्रॉप करें, अब फ्री मेमोरी की मात्रा नोट करें। के आउटपुट पर ध्यान दें fatrace।
$ sudo dd of=/home/saml/tst/162600/sample.txt \
oflag=nocache conv=notrunc,fdatasync count=0
उदाहरण
टर्मिनल # 1 में:
$ dd if=/dev/urandom of=sample.txt bs=100M count=1
1+0 records in
1+0 records out
104857600 bytes (105 MB) copied, 7.37996 s, 14.2 MB/s
$ ls -l sample.txt
-rw-rw-r--. 1 saml saml 104857600 Oct 17 22:54 sample.txt
टर्मिनल # 2 में:
$ top
...
KiB Mem: 7968336 total, 6900956 used, 1067380 free, 267080 buffers
...
टर्मिनल # 3 में:
$ sudo fatrace | grep sample.txt
अब फ़ाइल खोलें sample.txt, और रैम की मात्रा पर ध्यान दें। टर्मिनल # 1 में।
$ cat sample.txt > /dev/null
टर्मिनल # 2 में:
KiB Mem: 7968336 total, 7011896 used, 956440 free, 267336 buffers
fatraceटर्मिनल # 3 के आउटपुट पर ध्यान दें :
cat(25940): R /home/saml/tst/162600/sample.txt
cat(25940): R /home/saml/tst/162600/sample.txt
cat(25940): RC /home/saml/tst/162600/sample.txt
अब टर्मिनल # 4 में रैम से फाइल निकालें:
$ sudo dd of=/home/saml/tst/162600/sample.txt \
oflag=nocache conv=notrunc,fdatasync count=0
fatraceटर्मिनल # 2 के आउटपुट पर ध्यान दें :
dd(26229): O /home/saml/tst/162600/sample.txt
dd(26229): CW /home/saml/tst/162600/sample.txt
टर्मिनल # 3 में RAM पर ध्यान दें:
KiB Mem: 7968336 total, 6908364 used, 1059972 free, 267364 buffers
तो ऐसा लगता है कि रैम में फ़ाइल द्वारा खपत की गई सभी को मुक्त कर दिया गया है।
संभावित विधि # 3 - अजगर-सनक
@Frostchutz द्वारा एक टिप्पणी के लिए धन्यवाद, एक और उपकरण है, पायथन स्क्रिप्ट, जिसका नाम [pyadvise][4]उपरोक्त ddविधियों की तुलना में बहुत सरल इंटरफ़ेस प्रदान करता है । यह स्क्रिप्ट एक ही posix_fadvise(2)इंटरफ़ेस का उपयोग करती है ।
उदाहरण
$ sudo pyadvise --help
Usage:
pyadvise [options] [FILE]..
Options:
-h, --help show this help message and exit
-w, --willneed The specified files will be accessed in the near future
-s, --sequential The application expects to access the specified files
sequentially (with lower offsets read before higher ones)
-d, --dontneed The specified files will not be accessed in the near
future
-r, --random The specified files will be accessed in random order
-o, --noreuse The specified files will be accessed only once. Under
Linux, this operation is a no-op; see contrib/copyfileobj-
fadvise.py in the python-fadvise source tree for an
example on how to achieve approximately the same effect
-n, --normal Indicates that the application has no advice to give about
its access pattern for the specified files. If no advice
is given for an open file, this is the default assumption
-v, --verbose Explain what is being done
और यदि हम उपरोक्त परीक्षण को दोहराते हैं और इसके pyadviseस्थान पर उपयोग करते हैं dd:
$ pyadvise -d /home/saml/tst/162600/sample.txt
मैंने देखा कि जब मैं उपयोग करता था तो रैम में एक समान गिरावट देखी गई थी dd।