30% RAM "बफ़र्स" है। यह क्या है?

Question

$ free -h
              total        used        free      shared  buff/cache   available
Mem:           501M        146M         19M        9.7M        335M        331M
Swap:          1.0G         85M        938M

$ free -w -h
              total        used        free      shared     buffers       cache   available
Mem:           501M        146M         19M        9.7M        155M        180M        331M
Swap:          1.0G         85M        938M

मैं आउटपुट में "बफ़र्स" का वर्णन या व्याख्या कैसे कर सकता हूं free?

मुझे इस प्रणाली के साथ कोई (ज्ञात) समस्या नहीं है। मैं केवल यह देखकर हैरान और उत्सुक हूं कि "बफ़र्स" लगभग "कैश" (155M बनाम 180M) जितना अधिक है। मैंने सोचा कि "कैश" फ़ाइल सामग्री के पेज कैश का प्रतिनिधित्व करता है, और "कैश / बफ़र्स" का सबसे महत्वपूर्ण हिस्सा है। मैं कम स्पष्ट हूं कि "बफ़र्स" किस लिए हैं।

उदाहरण के लिए मैंने इसकी तुलना अपने लैपटॉप से ​​की है, जिसमें रैम अधिक है। मेरे लैपटॉप पर "बफ़र्स" आंकड़ा "कैश" (200M बनाम 4 जी) से छोटे परिमाण का एक क्रम है। अगर मुझे "बफ़र्स" की उचित समझ थी, तो मैं पूछना शुरू कर सकता हूं कि बफ़र्स छोटी प्रणाली पर इतने बड़े अनुपात में क्यों बढ़ सकते हैं।

man proc (मैं "बड़े" की प्रचलित पुरानी परिभाषा को अनदेखा करता हूं):

बफ़र% लू

कच्ची डिस्क ब्लॉकों के लिए अपेक्षाकृत अस्थायी भंडारण जो बहुत बड़े (20 एमबी या तो) को नहीं मिलना चाहिए।

कैची% लू

डिस्क से पढ़ी गई फ़ाइलों के लिए मेमोरी कैश (पेज कैश)। स्वैच्च्ड शामिल नहीं है।

---

$ free -V
free from procps-ng 3.3.12
$ uname -r
4.9.0-6-marvell
$ systemd-detect-virt
none

$ cat /proc/meminfo
MemTotal:         513976 kB
MemFree:           20100 kB
MemAvailable:     339304 kB
Buffers:          159220 kB
Cached:           155536 kB
SwapCached:         2420 kB
Active:           215044 kB
Inactive:         216760 kB
Active(anon):      56556 kB
Inactive(anon):    73280 kB
Active(file):     158488 kB
Inactive(file):   143480 kB
Unevictable:       10760 kB
Mlocked:           10760 kB
HighTotal:             0 kB
HighFree:              0 kB
LowTotal:         513976 kB
LowFree:           20100 kB
SwapTotal:       1048572 kB
SwapFree:         960532 kB
Dirty:               240 kB
Writeback:             0 kB
AnonPages:        126912 kB
Mapped:            40312 kB
Shmem:              9916 kB
Slab:              37580 kB
SReclaimable:      29036 kB
SUnreclaim:         8544 kB
KernelStack:        1472 kB
PageTables:         3108 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:     1305560 kB
Committed_AS:    1155244 kB
VmallocTotal:     507904 kB
VmallocUsed:           0 kB
VmallocChunk:          0 kB

$ sudo slabtop --once
 Active / Total Objects (% used)    : 186139 / 212611 (87.5%)
 Active / Total Slabs (% used)      : 9115 / 9115 (100.0%)
 Active / Total Caches (% used)     : 66 / 92 (71.7%)
 Active / Total Size (% used)       : 31838.34K / 35031.49K (90.9%)
 Minimum / Average / Maximum Object : 0.02K / 0.16K / 4096.00K

  OBJS ACTIVE  USE OBJ SIZE  SLABS OBJ/SLAB CACHE SIZE NAME                   
 59968  57222   0%    0.06K    937       64      3748K buffer_head            
 29010  21923   0%    0.13K    967       30      3868K dentry                 
 24306  23842   0%    0.58K   4051        6     16204K ext4_inode_cache       
 22072  20576   0%    0.03K    178      124       712K kmalloc-32             
 10290   9756   0%    0.09K    245       42       980K kmalloc-96             
  9152   4582   0%    0.06K    143       64       572K kmalloc-node           
  9027   8914   0%    0.08K    177       51       708K kernfs_node_cache      
  7007   3830   0%    0.30K    539       13      2156K radix_tree_node        
  5952   4466   0%    0.03K     48      124       192K jbd2_revoke_record_s   
  5889   5870   0%    0.30K    453       13      1812K inode_cache            
  5705   4479   0%    0.02K     35      163       140K file_lock_ctx          
  3844   3464   0%    0.03K     31      124       124K anon_vma               
  3280   3032   0%    0.25K    205       16       820K kmalloc-256            
  2730   2720   0%    0.10K     70       39       280K btrfs_trans_handle     
  2025   1749   0%    0.16K     81       25       324K filp                   
  1952   1844   0%    0.12K     61       32       244K kmalloc-128            
  1826    532   0%    0.05K     22       83        88K trace_event_file       
  1392   1384   0%    0.33K    116       12       464K proc_inode_cache       
  1067   1050   0%    0.34K     97       11       388K shmem_inode_cache      
   987    768   0%    0.19K     47       21       188K kmalloc-192            
   848    757   0%    0.50K    106        8       424K kmalloc-512            
   450    448   0%    0.38K     45       10       180K ubifs_inode_slab       
   297    200   0%    0.04K      3       99        12K eventpoll_pwq          
   288    288 100%    1.00K     72        4       288K kmalloc-1024           
   288    288 100%    0.22K     16       18        64K mnt_cache              
   287    283   0%    1.05K     41        7       328K idr_layer_cache        
   240      8   0%    0.02K      1      240         4K fscrypt_info           

Comments

linuxatemyram.com पढ़ने के लिए उपयोगी है

— बासीले स्टारीनेविच

Answer 1

1. "बफर", और अन्य कैश के बीच अंतर क्या है?
2. हम इस भेद को इतनी प्रमुखता से क्यों देखते हैं? (संभावित ऐतिहासिक कारण)
3. क्या हैं Buffers उपयोग किया जाता है?
4. हम Buffersविशेष रूप से बड़े या छोटे होने की उम्मीद क्यों कर सकते हैं?

---

1. "बफर" और कैश के अन्य प्रकार के बीच क्या अंतर है?

Buffersब्लॉक उपकरणों के लिए उपयोग किए जाने वाले पेज कैश की मात्रा की रिपोर्ट करता है। रिपोर्ट करने पर कर्नेल को शेष पेज कैश से जानबूझकर इस राशि को निकालना होगा Cached।

देखें meminfo_proc_show () :

cached = global_node_page_state(NR_FILE_PAGES) -
         total_swapcache_pages() - i.bufferram;
...

show_val_kb(m, "MemTotal:       ", i.totalram);
show_val_kb(m, "MemFree:        ", i.freeram);
show_val_kb(m, "MemAvailable:   ", available);
show_val_kb(m, "Buffers:        ", i.bufferram);
show_val_kb(m, "Cached:         ", cached);

2. हम इस भेद को इतनी प्रमुखता से क्यों देखते हैं? (संभावित ऐतिहासिक कारण)

पृष्ठ कैश MMU पृष्ठ आकार की इकाइयों में काम करता है, आमतौर पर न्यूनतम 4096 बाइट्स। इसके लिए जरूरी हैmmap() मेमोरी-मैप्ड फ़ाइल एक्सेस के । [१] [२] इसका उपयोग लोड प्रोग्राम / लाइब्रेरी कोड के पृष्ठों को स्वतंत्र प्रक्रियाओं के बीच साझा करने के लिए किया जाता है, और मांग पर व्यक्तिगत पेज लोड करने की अनुमति देता है। (पृष्ठों को उतारने के लिए भी जब किसी अन्य स्थान की आवश्यकता हो, और उनका उपयोग हाल ही में नहीं किया गया हो)।

[१] मेमोरी-मैप्ड I / O - GNU C लाइब्रेरी मैनुअल।
[2]mmap - विकिपीडिया

प्रारंभिक UNIX में डिस्क ब्लॉक का "बफर कैश" था, और इसमें mmap () नहीं था। जाहिर है कि जब एमएमएपी () पहली बार जोड़ा गया था, तो उन्होंने बफर कैश के शीर्ष पर केवल पृष्ठ कैश डाला। यह सुनने में जितना गन्दा है। आखिरकार, UNIX- आधारित OS को बफर कैश से छुटकारा मिल गया। इसलिए अब सभी फ़ाइल कैश पृष्ठों की इकाइयों में है। पृष्ठ डिस्क द्वारा स्थान पर नहीं (फ़ाइल, ऑफसेट) द्वारा देखे जाते हैं। इसे "एकीकृत बफर कैश" कहा जाता था, शायद इसलिए लोग "बफर कैश" से अधिक परिचित थे। [३]

[३] यूबीसी: नेटबीएसडी के लिए एक कुशल एकीकृत I / O और मेमोरी कैशिंग सबसिस्टम

"लिनक्स में एक दिलचस्प मोड़ यह है कि डिवाइस ब्लॉक नंबर जहां डिस्क पर एक पेज संग्रहीत किया जाता है उसे सूची के रूप में पृष्ठ के साथ कैश किया जाता है buffer_head संरचनाओं की । जब एक संशोधित पृष्ठ डिस्क पर वापस लिखा जाना है, तो I / O अनुरोधों को डिवाइस ड्राइवर को तुरंत भेजा जा सकता है, बिना किसी अप्रत्यक्ष ब्लॉक को पढ़ने के लिए यह निर्धारित करने की आवश्यकता है कि पृष्ठ का डेटा कहाँ लिखा जाना चाहिए। "[3]

लिनक्स 2.2 में एक अलग "बफ़र कैश" लिखा था, लेकिन लिखने के लिए नहीं। "पृष्ठ कैश ने अपने डेटा को वापस लिखने के लिए बफर कैश का उपयोग किया, डेटा की एक अतिरिक्त प्रतिलिपि की आवश्यकता है, और कुछ लिखने के लोड के लिए मेमोरी आवश्यकताओं को दोगुना करने के लिए" (?)। [४] आइए विवरणों के बारे में बहुत अधिक चिंता न करें, लेकिन यह इतिहास एक कारण होगा कि लिनक्स Buffersअलग-अलग रिपोर्ट का उपयोग करता है।

[४] लिनक्स २.०० मेमोरी मैनेजमेंट में पेज रिप्लेसमेंट , रिक वैन रिअल ।

इसके विपरीत, लिनक्स 2.4 और इसके बाद के संस्करण में, अतिरिक्त प्रति मौजूद नहीं है। "सिस्टम डिस्क IO को पेज कैश पेज से सीधे और उसके बाद करता है।" [४] लिनक्स २००१ २००१ में जारी किया गया था।

3. किसके लिए Buffersउपयोग किया जाता है?

ब्लॉक डिवाइस को फ़ाइलों के रूप में माना जाता है, और इसलिए पेज कैश है। इसका उपयोग "फाइलसिस्टम मेटाडेटा और कच्चे ब्लॉक उपकरणों के कैशिंग" के लिए किया जाता है। [४] लेकिन लिनक्स के वर्तमान संस्करणों में, फ़ाइल सिस्टम इसके माध्यम से फ़ाइल सामग्री की प्रतिलिपि नहीं बनाते हैं, इसलिए "डबल कैशिंग" नहीं है।

मुझे लगता है कि Buffersपेज कैश का हिस्सा लिनक्स बफर कैश है। हालांकि कुछ स्रोत इस शब्दावली से असहमत हो सकते हैं।

फाइलसिस्टम कितना बफर कैश करता है, यदि कोई हो, विशिष्ट फाइलसिस्टम के विवरण पर निर्भर करता है। प्रश्न में सिस्टम ext4 का उपयोग करता है। ext3 / ext4 निर्देशिका सामग्री और कुछ अन्य मेटाडेटा के लिए, पत्रिका के लिए लिनक्स बफर कैश का उपयोग करें।

Ext3, ext4 और ocfs2 सहित कुछ फ़ाइल सिस्टम, उनके भौतिक ब्लॉक जर्नलिंग को संभालने के लिए jbd या jbd2 परत का उपयोग करते हैं, और यह परत मूल रूप से बफर कैश का उपयोग करती है।

- टेड ट्सो , 2013 द्वारा ईमेल लेख

लिनक्स कर्नेल संस्करण 2.4 से पहले, लिनक्स में अलग पेज और बफर कैश थे। 2.4 के बाद से, पेज और बफर कैश एकीकृत हैं और Buffersकच्चे कैश ब्लॉक हैं जो पेज कैश में प्रतिनिधित्व नहीं करते हैं-यानी, फ़ाइल डेटा नहीं।

...

बफ़र कैश अभी भी बना हुआ है, क्योंकि कर्नेल को अभी भी ब्लॉक I / O को ब्लॉक करने की ज़रूरत है, पेज नहीं। जैसा कि अधिकांश ब्लॉक फ़ाइल डेटा का प्रतिनिधित्व करते हैं, अधिकांश बफर कैश पेज कैश द्वारा दर्शाया जाता है। लेकिन ब्लॉक डेटा की एक छोटी राशि समर्थित नहीं है - मेटाडेटा और उदाहरण के लिए कच्चे ब्लॉक I / O- और इस तरह पूरी तरह से बफर कैश द्वारा दर्शाया गया है।

- Quora जवाब की एक जोड़ी द्वारा रॉबर्ट प्यार , पिछले 2013।

दोनों लेखक लिनक्स डेवलपर हैं जिन्होंने लिनक्स कर्नेल मेमोरी मैनेजमेंट के साथ काम किया है। पहला स्रोत तकनीकी विवरण के बारे में अधिक विशिष्ट है। दूसरा स्रोत एक अधिक सामान्य सारांश है, जो कुछ विवरणों में विरोधाभास और पुराना हो सकता है।

यह सच है कि फाइलसिस्टम आंशिक पृष्ठ मेटाडेटा लिखते हैं, भले ही कैश को पृष्ठों में अनुक्रमित किया गया हो। यहां तक ​​कि उपयोगकर्ता प्रक्रियाएं आंशिक पृष्ठ लिख सकती हैं जब वे उपयोग करते हैं write()(जैसा कि विरोध किया जाता हैmmap() ), कम से कम सीधे एक ब्लॉक डिवाइस पर। यह केवल लिखने के लिए लागू होता है, पढ़ने में नहीं। जब आप पृष्ठ कैश के माध्यम से पढ़ते हैं, तो पृष्ठ कैश हमेशा पूर्ण पृष्ठ पढ़ता है।

लिनुस ने शेख़ी को पसंद किया कि ब्लॉक-आकार लिखने के लिए बफर कैश की आवश्यकता नहीं है, और यह कि फाइलसिस्टम आंशिक पेज मेटाडेटा लिख ​​सकते हैं यहां तक ​​कि ब्लॉक डिवाइस के बजाय अपनी फ़ाइलों से जुड़ी पेज कैश के साथ भी लिख सकते हैं। मुझे यकीन है कि वह कहना सही है कि ext2 ऐसा करता है। ext3 / ext4 अपने जर्नलिंग सिस्टम के साथ नहीं है। यह कम स्पष्ट है कि इस डिजाइन के लिए कौन से मुद्दे थे। वह जिन लोगों पर बरस रहा था, उन्हें समझाकर थक गया।

ext4_readdir () को लिनुस रैंट को संतुष्ट करने के लिए नहीं बदला गया है। मैं अन्य फाइल सिस्टम के रेडीयर () में उपयोग किए गए उनके इच्छित दृष्टिकोण को नहीं देखता। मुझे लगता है कि XFS निर्देशिका के लिए बफर कैश का भी उपयोग करता है। bcachefs रीडडीर () के लिए पेज कैश का उपयोग बिल्कुल नहीं करता है; यह btrees के लिए अपने स्वयं के कैश का उपयोग करता है। मुझे btrfs में कुछ याद आ रही है।

4. हम Buffersविशेष रूप से बड़े या छोटे होने की उम्मीद क्यों कर सकते हैं?

इस मामले में यह बाहर निकलता है मेरे फाइल सिस्टम के लिए ext4 जर्नल का आकार 128M है। तो यह बताता है कि क्यों 1) मेरा बफर कैश 128M से थोड़ा अधिक स्थिर हो सकता है; 2) बफ़र कैश मेरे लैपटॉप पर बड़ी मात्रा में रैम के साथ आनुपातिक रूप से स्केल नहीं करता है।

कुछ अन्य संभावित कारणों के लिए, आउटपुट से बफ़र्स कॉलम मुफ्त में देखें? ध्यान दें कि "बफ़र्स" द्वारा रिपोर्ट किया गया freeवास्तव में Buffersस्केलेबल स्लैब मेमोरी का संयोजन है ।

---

यह सत्यापित करने के लिए कि जर्नल बफ़र कैश का उपयोग करता है, मैंने अच्छी फास्ट रैम (tmpfs) में एक फाइल सिस्टम का अनुकरण किया, और विभिन्न जर्नल आकारों के लिए अधिकतम बफर उपयोग की तुलना की।

# dd if=/dev/zero of=/tmp/t bs=1M count=1000
...
# mkfs.ext4 /tmp/t -J size=256
...
# LANG=C dumpe2fs /tmp/t | grep '^Journal size'
dumpe2fs 1.43.5 (04-Aug-2017)
Journal size:             256M
# mount /tmp/t /mnt
# cd /mnt
# free -w -m
              total        used        free      shared     buffers       cache   available
Mem:           7855        2521        4321         285          66         947        5105
Swap:          7995           0        7995

# for i in $(seq 40000); do dd if=/dev/zero of=t bs=1k count=1 conv=sync status=none; sync t; sync -f t; done
# free -w -m
              total        used        free      shared     buffers       cache   available
Mem:           7855        2523        3872         551         237        1223        4835
Swap:          7995           0        7995

---

# dd if=/dev/zero of=/tmp/t bs=1M count=1000
...
# mkfs.ext4 /tmp/t -J size=16
...
# LANG=C dumpe2fs /tmp/t | grep '^Journal size'
dumpe2fs 1.43.5 (04-Aug-2017)
Journal size:             16M
# mount /tmp/t /mnt
# cd /mnt
# free -w -m
              total        used        free      shared     buffers       cache   available
Mem:           7855        2507        4337         285          66         943        5118
Swap:          7995           0        7995

# for i in $(seq 40000); do dd if=/dev/zero of=t bs=1k count=1 conv=sync status=none; sync t; sync -f t; done
# free -w -m
              total        used        free      shared     buffers       cache   available
Mem:           7855        2509        4290         315          77         977        5086
Swap:          7995           0        7995

इस उत्तर का इतिहास: मैं पत्रिका को देखने कैसे आया

मैंने टेड टोसो के ईमेल को सबसे पहले पाया था, और यह लिखा था कि यह कैशिंग लिखने पर जोर देता है । मुझे आश्चर्य होगा कि अगर "गंदा", अलिखित डेटा मेरे सिस्टम पर 30% रैम तक पहुंचने में सक्षम था। sudo atopयह दर्शाता है कि 10 सेकंड के अंतराल पर, प्रश्न में प्रणाली केवल 1MB लिखती है। संबंधित फाइल सिस्टम इस दर से 100 गुना अधिक रखने में सक्षम होगा। (यह USB2 हार्ड डिस्क ड्राइव पर है, अधिकतम थ्रूपुट ~ 20MB / s)।

Blktrace ( btrace -w 10 /dev/sda) का उपयोग यह पुष्टि करता है कि जिन IOs को कैश किया जा रहा है, उन्हें लिखना होगा, क्योंकि लगभग कोई डेटा नहीं पढ़ा जा रहा है। इसके अलावा, IO करने mysqldवाली एकमात्र यूजरस्पेस प्रक्रिया है।

मैंने राइट्स (icinga2 Writing to mysql) के लिए जिम्मेदार सेवा को रोक दिया और फिर से जाँच की। मैंने देखा कि "बफ़र्स" 20 एम से कम है - मेरे पास इसके लिए कोई स्पष्टीकरण नहीं है - और वहां रहें। लेखक को फिर से शुरू करना प्रत्येक 10 सेकंड के अंतराल के लिए ~ 0.1M से बढ़ते "बफ़र" दिखाता है। मैंने देखा कि यह इस दर को लगातार बनाए रखता है, वापस 70 मीटर और ऊपर चढ़ रहा है।

रनिंग echo 3 | sudo tee /proc/sys/vm/drop_caches"बफ़र्स" को कम करने के लिए पर्याप्त था, 4.5 एम तक। यह साबित करता है कि मेरे बफ़र्स का संचय एक "क्लीन" कैश है, जिसे आवश्यक होने पर लिनक्स तुरंत छोड़ सकता है। यह सिस्टम अलिखित डेटा जमा नहीं कर रहा है । ( drop_cachesकोई लिखने का कार्य नहीं करता है और इसलिए गंदे पृष्ठ नहीं छोड़ सकता है। यदि आप एक परीक्षण चलाना चाहते हैं जो पहले कैश को साफ करता है, तो आप syncकमांड का उपयोग करेंगे )।

संपूर्ण mysql निर्देशिका केवल 150M है। जमा करने वाले बफ़र्स को mysql से मेटाडेटा ब्लॉक का प्रतिनिधित्व करना चाहिए, लेकिन मुझे यह सोचकर आश्चर्य हुआ कि इस डेटा के लिए इतने मेटाडेटा ब्लॉक होंगे।

Answer 2

आपके संस्करण का freeसही विचार है। डिफ़ॉल्ट रूप से यह अपनी रिपोर्ट में बफ़र्स और कैश को जोड़ती है। ऐसा इसलिए है क्योंकि वे मूल रूप से एक ही चीज हैं। वे दोनों रैम (फास्टर दैट सेकेंडरी स्टोरेज: डिस्क और एसएसडी) में याद रखने वाला कंप्यूटर हैं, जिसे डिस्क और एसएसडी को पढ़ते समय पहले ही देखा जा सकता है।

अगर ऑपरेटिंग सिस्टम को लगता है कि मेमोरी किसी और चीज़ से बेहतर इस्तेमाल की जाती है तो वह उसे फ्री कर सकता है। इसलिए बफर और कैश की चिंता न करें।

हालाँकि, डीवीडी देखने से बफर ऊपर जा सकता है, और अन्य बफर / कैश सामग्री को निकाल सकता है। इसलिए आप डीवीडी प्लेयर को चलाने के लिए nocache का उपयोग कर सकते हैं ( यदि यह समस्या पैदा कर रहा है )।