बड़ी वस्तु ढेर विखंडन


97

मैं जिस C # /। NET एप्लिकेशन पर काम कर रहा हूं वह एक धीमी मेमोरी लीक से पीड़ित है। मैंने एसओएस के साथ सीडीबी का उपयोग किया है यह निर्धारित करने की कोशिश करने के लिए कि क्या हो रहा है, लेकिन डेटा का कोई मतलब नहीं लगता है, इसलिए मैं उम्मीद कर रहा था कि आप में से एक ने इससे पहले अनुभव किया होगा।

आवेदन 64 बिट ढांचे पर चल रहा है। यह एक दूरस्थ होस्ट के लिए लगातार डेटा की गणना और क्रमबद्ध कर रहा है और लार्ज ऑब्जेक्ट हीप (LOH) को एक उचित बिट मार रहा है। हालाँकि, अधिकांश LOH ऑब्जेक्ट्स मैं क्षणिक होने की उम्मीद करता हूं: एक बार गणना पूरी हो जाने के बाद और रिमोट होस्ट को भेज दिया गया है, स्मृति को मुक्त किया जाना चाहिए। हालाँकि, जो मैं देख रहा हूँ, वह बड़ी संख्या में (लाइव) ऑब्जेक्ट एरेज़ है, जो मेमोरी के फ्री ब्लॉक्स के साथ इंटरलीव्ड है, जैसे, LOH से एक यादृच्छिक सेगमेंट लेना:

0:000> !DumpHeap 000000005b5b1000  000000006351da10
         Address               MT     Size
...
000000005d4f92e0 0000064280c7c970 16147872
000000005e45f880 00000000001661d0  1901752 Free
000000005e62fd38 00000642788d8ba8     1056       <--
000000005e630158 00000000001661d0  5988848 Free
000000005ebe6348 00000642788d8ba8     1056
000000005ebe6768 00000000001661d0  6481336 Free
000000005f214d20 00000642788d8ba8     1056
000000005f215140 00000000001661d0  7346016 Free
000000005f9168a0 00000642788d8ba8     1056
000000005f916cc0 00000000001661d0  7611648 Free
00000000600591c0 00000642788d8ba8     1056
00000000600595e0 00000000001661d0   264808 Free
...

जाहिर है मैं यह उम्मीद करूंगा कि यदि मेरा आवेदन प्रत्येक गणना के दौरान लंबे समय से जीवित, बड़ी वस्तुओं का निर्माण कर रहा है, तो यह मामला होगा। (यह ऐसा करता है और मैं स्वीकार करता हूं कि एलओएच विखंडन की एक डिग्री होगी लेकिन यह यहां की समस्या नहीं है।) समस्या बहुत छोटी (1056 बाइट) ऑब्जेक्ट एरे है जिसे आप उपरोक्त डंप में देख सकते हैं जिसे मैं कोड में नहीं देख सकता। बनाया जा रहा है और जो किसी भी तरह से शेष हैं।

यह भी ध्यान दें कि ढेर खंड डंप होने पर सीडीबी प्रकार की रिपोर्ट नहीं कर रहा है: मुझे यकीन नहीं है कि यह संबंधित है या नहीं। यदि मैं चिह्नित (<-) ऑब्जेक्ट को डंप करता हूं, तो सीडीबी / एसओएस इसे ठीक करता है:

0:015> !DumpObj 000000005e62fd38
Name: System.Object[]
MethodTable: 00000642788d8ba8
EEClass: 00000642789d7660
Size: 1056(0x420) bytes
Array: Rank 1, Number of elements 128, Type CLASS
Element Type: System.Object
Fields:
None

ऑब्जेक्ट एरे के तत्व सभी स्ट्रिंग्स हैं और स्ट्रिंग्स हमारे एप्लिकेशन कोड से पहचानने योग्य हैं।

इसके अलावा, मैं उनकी जीसी जड़ों को खोजने में असमर्थ हूं क्योंकि जीसीआरओटी कमांड लटका हुआ है और कभी वापस नहीं आता है (मैंने इसे रात भर छोड़ने की कोशिश भी की है)।

इसलिए, मैं इसकी बहुत सराहना करूंगा यदि कोई भी किसी भी प्रकाश को बहा सकता है क्योंकि ये छोटी (<85k) ऑब्जेक्ट सरणियां LOH पर समाप्त हो रही हैं: .NET क्या छोटी वस्तु सरणी को वहां पर रखेगा? इसके अलावा, क्या किसी को इन वस्तुओं की जड़ों का पता लगाने का एक वैकल्पिक तरीका पता है?


अपडेट १

एक और सिद्धांत जो मैं कल देर से आया, वह यह है कि इन ऑब्जेक्ट सरणियों को बड़े स्तर पर शुरू किया गया था, लेकिन मुक्त मेमोरी के ब्लॉक को छोड़कर सिकुड़ गया है जो मेमोरी डंप में स्पष्ट हैं। मुझे क्या संदेह है कि ऑब्जेक्ट सरणियां हमेशा 1056 बाइट्स (128 तत्व), 128 * 8 संदर्भों के लिए और 32 बाइट्स ओवरहेड के लिए दिखाई देती हैं।

विचार यह है कि शायद पुस्तकालय में या सीएलआर में कुछ असुरक्षित कोड सरणी हेडर में तत्वों के क्षेत्र की संख्या को दूषित कर रहा है। एक लंबे शॉट के बिट मुझे पता है ...


अपडेट २

ब्रायन रासमुसेन (स्वीकृत उत्तर देखें) के लिए धन्यवाद, इस समस्या को स्ट्रिंग इंटर्न टेबल के कारण LOH के विखंडन के रूप में पहचाना गया है! मैंने इसकी पुष्टि के लिए एक त्वरित परीक्षण आवेदन लिखा:

static void Main()
{
    const int ITERATIONS = 100000;

    for (int index = 0; index < ITERATIONS; ++index)
    {
        string str = "NonInterned" + index;
        Console.Out.WriteLine(str);
    }

    Console.Out.WriteLine("Continue.");
    Console.In.ReadLine();

    for (int index = 0; index < ITERATIONS; ++index)
    {
        string str = string.Intern("Interned" + index);
        Console.Out.WriteLine(str);
    }

    Console.Out.WriteLine("Continue?");
    Console.In.ReadLine();
}

आवेदन पहले बनाता है और एक पाश में अद्वितीय तार dereferences। यह सिर्फ यह साबित करने के लिए है कि मेमोरी इस परिदृश्य में लीक नहीं होती है। जाहिर है कि यह नहीं होना चाहिए और यह नहीं है।

दूसरे लूप में, अद्वितीय तार बनाए जाते हैं और इंटर्न किए जाते हैं। यह क्रिया उन्हें आंतरिक तालिका में ले जाती है। मुझे एहसास नहीं हुआ कि इंटर्न टेबल का प्रतिनिधित्व कैसे किया जाता है। ऐसा प्रतीत होता है कि इसमें पृष्ठों का एक समूह शामिल है - 128 स्ट्रिंग तत्वों के ऑब्जेक्ट सरणियाँ - जो LOH में बनाई गई हैं। यह सीडीबी / एसओएस में अधिक स्पष्ट है:

0:000> .loadby sos mscorwks
0:000> !EEHeap -gc
Number of GC Heaps: 1
generation 0 starts at 0x00f7a9b0
generation 1 starts at 0x00e79c3c
generation 2 starts at 0x00b21000
ephemeral segment allocation context: none
 segment    begin allocated     size
00b20000 00b21000  010029bc 0x004e19bc(5118396)
Large object heap starts at 0x01b21000
 segment    begin allocated     size
01b20000 01b21000  01b8ade0 0x00069de0(433632)
Total Size  0x54b79c(5552028)
------------------------------
GC Heap Size  0x54b79c(5552028)

LOH सेगमेंट का एक डंप लेने से मुझे उस पैटर्न का पता चलता है जो मैंने लीक हुए एप्लिकेशन में देखा था:

0:000> !DumpHeap 01b21000 01b8ade0
...
01b8a120 793040bc      528
01b8a330 00175e88       16 Free
01b8a340 793040bc      528
01b8a550 00175e88       16 Free
01b8a560 793040bc      528
01b8a770 00175e88       16 Free
01b8a780 793040bc      528
01b8a990 00175e88       16 Free
01b8a9a0 793040bc      528
01b8abb0 00175e88       16 Free
01b8abc0 793040bc      528
01b8add0 00175e88       16 Free    total 1568 objects
Statistics:
      MT    Count    TotalSize Class Name
00175e88      784        12544      Free
793040bc      784       421088 System.Object[]
Total 1568 objects

ध्यान दें कि ऑब्जेक्ट एरे का आकार 528 है (1056 के बजाय) क्योंकि मेरा वर्कस्टेशन 32 बिट है और एप्लिकेशन सर्वर 64 बिट है। ऑब्जेक्ट सरणियाँ अभी भी 128 तत्व लंबी हैं।

इसलिए इस कहानी के लिए नैतिक बहुत सावधान रहना है। यदि आप जो स्ट्रिंग इंटर्न कर रहे हैं, वह एक परिमित सेट का सदस्य नहीं है, तो आपका आवेदन LOH के विखंडन के कारण लीक हो जाएगा, कम से कम CLR के संस्करण 2 में।

हमारे आवेदन के मामले में, deserialisation कोड पथ में सामान्य कोड है जो इंटमर्सहॉलिंग के दौरान इकाई की पहचान करता है: मुझे अब दृढ़ता से संदेह है कि यह अपराधी है। हालाँकि, डेवलपर के इरादे स्पष्ट रूप से अच्छे थे क्योंकि वे यह सुनिश्चित करना चाहते थे कि यदि एक ही इकाई को कई बार डिसेरलाइज़ किया जाता है, तो पहचानकर्ता स्ट्रिंग का केवल एक उदाहरण स्मृति में बनाए रखा जाएगा।


2
महान सवाल - मैं अपने आवेदन में एक ही बात देख रहा हूँ। बड़े ब्लॉक साफ होने के बाद LOH में छोड़ी गई छोटी वस्तुएं, और यह विखंडन की समस्या पैदा करती हैं।
रीड कोपसे

2
मैं सहमत हूं, महान प्रश्न। मैं जवाब के लिए देख रहा हूँ।
चार्ली फूल

2
बहुत ही रोचक। लगता है कि यह डिबग करने के लिए काफी समस्या थी!
मैट जॉर्डन

जवाबों:


46

सीएलआर एलओएच का उपयोग कुछ वस्तुओं (जैसे कि आंतरिक स्ट्रिंग्स के लिए उपयोग की जाने वाली सरणी ) के प्रचार के लिए करता है । इनमें से कुछ 85000 बाइट्स से कम हैं और इस तरह से एलओएच पर आम तौर पर आवंटित नहीं किया जाएगा।

यह एक कार्यान्वयन विवरण है, लेकिन मैं इसका कारण यह मानता हूं कि ऐसे इंस्टेंस के अनावश्यक कचरा संग्रह से बचना है जो कि जब तक यह स्व है तब तक जीवित रहना चाहिए।

इसके अलावा कुछ गूढ़ अनुकूलन के कारण, double[]LOH पर 1000 या अधिक तत्वों में से किसी को भी आवंटित किया जाता है।


समस्याग्रस्त वस्तुएं ऑब्जेक्ट हैं [], जिसमें मुझे पता है कि ऐप कोड द्वारा बनाए जा रहे तार के लिए रेफरी हैं। इसका मतलब है कि ऐप ऑब्जेक्ट बना रहा है [] s (मैं इस बात का सबूत नहीं देख सकता हूं) या यह कि CLR का कुछ हिस्सा (जैसे क्रमांकन) उन्हें एप्लिकेशन ऑब्जेक्ट पर काम करने के लिए उपयोग कर रहा है।
पॉल रूआने

1
आंतरिक तारों के लिए आंतरिक संरचना का उपयोग किया जा सकता है। कृपया अधिक जानकारी के लिए इस प्रश्न के लिए मेरे उत्तर की जाँच करें: stackoverflow.com/questions/372547/…
ब्रायन रासमुसेन

आह, यह एक बहुत ही दिलचस्प लीड है, धन्यवाद। आंतरिक तालिका के बारे में पूरी तरह से भूल गया। मुझे पता है कि हमारे डेवलपर्स में से एक एक गहरी इंटर्न है इसलिए यह निश्चित रूप से कुछ है जिसकी मैं जांच करूंगा।
पॉल रूएन

1
85000 बाइट्स या 84 * 1024 = 87040 बाइट्स?
पीटर मोर्टेंसन

5
85000 बाइट्स। आप 85000-12 के बाइट सरणी (लंबाई, एमटी, सिंक ब्लॉक) के बाइट सरणी बनाकर और GC.GetGenerationउदाहरण पर कॉल करके इसे सत्यापित कर सकते हैं । यह Gen2 लौटाएगा - API Gen2 और LOH में अंतर नहीं करता है। सरणी को एक बाइट को छोटा करें और API Gen0 को लौटा देगा।
ब्रायन रासमुसेन

13

.NET फ्रेमवर्क 4.5.1, में कचरा संग्रह के दौरान बड़े ऑब्जेक्ट हीप (LOH) को स्पष्ट रूप से कॉम्पैक्ट करने की क्षमता है।

GCSettings.LargeObjectHeapCompactionMode = GCLargeObjectHeapCompactionMode.CompactOnce;
GC.Collect();

GCSettings.LargeObjectHeapCompactionMode में अधिक जानकारी देखें


2

जब जीसी कैसे काम करता है, और कैसे लंबे समय तक रहने वाली वस्तुएं पीढ़ी 2 में समाप्त हो जाती हैं, और एलओएच वस्तुओं का संग्रह पूर्ण संग्रह में होता है - जैसा कि पीढ़ी 2 का संग्रह करता है, तो यह विचार जो मन में झर जाता है, उसका विवरण पढ़ने पर। .. क्यों न केवल पीढ़ी 2 और बड़ी वस्तुओं को एक ही ढेर में रखा जाए, क्योंकि वे एक साथ एकत्र होने जा रहे हैं?

यदि वास्तव में ऐसा होता है, तो यह समझाएगा कि छोटी वस्तुएं LOH के समान ही कैसे समाप्त होती हैं - यदि वे लंबे समय से पीढ़ी 2 में समाप्त होने के लिए पर्याप्त हैं।

और इसलिए आपकी समस्या मेरे लिए होने वाले विचार के लिए एक बहुत अच्छा खंडन प्रतीत होगी - इसका परिणाम होगा LOH का विखंडन।

सारांश: आपकी समस्या को LOH और पीढ़ी 2 द्वारा समान हीप क्षेत्र साझा करते हुए समझाया जा सकता है, हालाँकि यह बिना किसी प्रमाण के है कि यह स्पष्टीकरण है।

अद्यतन:!dumpheap -stat बहुत अधिक उत्पादन इस सिद्धांत को पानी से बाहर निकालता है! पीढ़ी 2 और LOH के अपने क्षेत्र हैं।


प्रत्येक ढेर बनाने वाले खंडों को दिखाने के लिए eeheap का उपयोग करें। जनरल 0 और जीन 1 एक सेगमेंट (एक ही सेगमेंट) में रहते हैं, जीन 2 और एलओएच दोनों कई सेगमेंट आवंटित कर सकते हैं लेकिन प्रत्येक हीप के लिए सेगमेंट अलग रहते हैं।
पॉल रूआने

हाँ, देखा कि, धन्यवाद। बस eeheaps कमांड का उल्लेख करना चाहता था क्योंकि यह इस व्यवहार को बहुत स्पष्ट तरीके से दिखाता है।
पॉल रूआन

मुख्य जीसी की दक्षता इस तथ्य से बड़े हिस्से में उपजी है कि यह वस्तुओं को स्थानांतरित कर सकता है इसलिए मुख्य ढेर पर स्मृति के मुक्त क्षेत्रों की एक छोटी संख्या होगी। यदि मुख्य ढेर पर किसी वस्तु को एक संग्रह के दौरान पिन किया जाता है, तो पिन किए गए ऑब्जेक्ट के ऊपर और नीचे के स्थान को अलग से ट्रैक करना पड़ सकता है, लेकिन चूंकि पिन की गई वस्तुओं की संख्या सामान्य रूप से बहुत कम है, इसलिए जीसी को अलग क्षेत्रों की संख्या होगी धावन पथ। एक ही ढेर में रिलोकेबल और नॉन-रिलोकेबल (बड़ी) वस्तुओं को मिलाने से परफॉर्मेंस ख़राब होती है।
सुपरकैट

एक और दिलचस्प सवाल यह है कि .NET double, जीईएच को ट्विक करने के बजाय, एलओएच पर 1000 से अधिक तत्वों को बड़ा करता है ताकि यह सुनिश्चित किया जा सके कि वे 8-बाइट सीमाओं पर संरेखित हैं। वास्तव में, यहां तक ​​कि 32-बिट सिस्टम पर भी मैं उम्मीद करूंगा कि कैश व्यवहार के कारण, सभी वस्तुओं पर 8-बाइट संरेखण को लागू करना जिसका आबंटित आकार 8 बाइट्स से अधिक है, संभवतः एक प्रदर्शन जीत होगी। अन्यथा, जबकि भारी-भरकम इस्तेमाल किया जाने वाला double[]कैश-एलायंस का प्रदर्शन उस से बेहतर होगा जो नहीं है, मुझे नहीं पता कि आकार का उपयोग के साथ संबंध क्यों होगा।
सुपरकैट

@ सुपरफ़ैट भी, दो ढेर भी आवंटन में बहुत अलग तरह से व्यवहार करते हैं। मुख्य ढेर (इस समय) मूल रूप से आवंटन पैटर्न में एक ढेर है - यह हमेशा शीर्ष पर आवंटित करता है, किसी भी खाली स्थान को अनदेखा करता है - जब संघनन आता है, तो खाली स्थान निचोड़ा जाता है। यह आवंटन को लगभग न के बराबर बनाता है, और डेटा स्थानीयता में मदद करता है। दूसरी ओर, एलओएच पर आवंटित करना मॉलॉक के काम करने के तरीके के समान है - यह पहला मुफ्त स्थान मिलेगा जो आप आवंटित कर रहे हैं, और वहां आवंटित कर सकते हैं। चूंकि यह बड़ी वस्तुओं के लिए है, इसलिए डेटा स्थानीयता एक दिया गया है, और आवंटन के लिए जुर्माना बहुत बुरा नहीं है।
लुआण

1

यदि प्रारूप आपके अनुप्रयोग के रूप में पहचानने योग्य है, तो आपने उस स्ट्रिंग प्रारूप को उत्पन्न करने वाले कोड की पहचान क्यों नहीं की है? यदि कई संभावनाएं हैं, तो यह पता लगाने के लिए अद्वितीय डेटा जोड़ने का प्रयास करें कि कौन सा कोड पथ अपराधी है।

तथ्य यह है कि सरणियों को बड़े मुक्त आइटम के साथ इंटरलेय किया गया है, मुझे लगता है कि वे मूल रूप से जोड़े गए थे या कम से कम संबंधित थे। यह पता लगाने के लिए कि उन्हें और संबंधित तारों को उत्पन्न करने के लिए मुक्त वस्तुओं की पहचान करने का प्रयास करें।

एक बार जब आप पहचान लेते हैं कि ये तार क्या उत्पन्न कर रहे हैं, तो यह पता लगाने की कोशिश करें कि उन्हें GCed होने से क्या होगा। शायद वे लॉगिंग उद्देश्यों या कुछ समान के लिए एक भूल या अप्रयुक्त सूची में भर रहे हैं।


संपादित करें: स्मृति क्षेत्र और पल के लिए विशिष्ट सरणी आकार पर ध्यान न दें: केवल यह पता लगाएं कि रिसाव के कारण इन तारों के साथ क्या किया जा रहा है। जब आपके प्रोग्राम ने एक या दो बार इन स्ट्रिंग्स को बनाया या हेरफेर किया हो, तो GCRoot का प्रयास करें, जब ट्रेस करने के लिए कम ऑब्जेक्ट हों।


तार Guids (जो हम उपयोग करते हैं) और स्ट्रिंग कुंजियों का मिश्रण हैं जो आसानी से पहचाने जाने योग्य हैं। मैं देख सकता हूं कि वे कहां उत्पन्न होते हैं, लेकिन वे ऑब्जेक्ट एरे में कभी नहीं (सीधे) जोड़े जाते हैं और हम स्पष्ट रूप से 128 एलिमेंट एरे नहीं बनाते हैं। इन छोटे सरणियों को LOH में नहीं होना चाहिए हालांकि इसके साथ शुरू करना है।
पॉल रूआन

1

महान प्रश्न, मैंने प्रश्नों को पढ़कर सीखा।

मुझे लगता है कि डिसेरिएलाइजेशन कोड पथ के अन्य बिट भी बड़े ऑब्जेक्ट हीप का उपयोग कर रहे हैं, इसलिए विखंडन। यदि सभी तार एक ही समय में नजरबंद थे, तो मुझे लगता है कि आप ठीक होंगे।

यह देखते हुए कि .net कचरा संग्रहकर्ता कितना अच्छा है, बस डिसेरिएलाइज़ेशन कोड पथ को सामान्य स्ट्रिंग ऑब्जेक्ट बनाने देता है जो काफी अच्छा होने की संभावना है। आवश्यकता सिद्ध होने तक कुछ और जटिल न करें।

मैं आपके द्वारा देखे गए और फिर से उपयोग किए गए पिछले कुछ तार की हैश टेबल रखने पर सबसे अधिक नज़र डालूंगा। हैश टेबल के आकार को सीमित करके और जब आप तालिका बनाते हैं तो आकार को पास करके आप अधिकांश विखंडन को रोक सकते हैं। फिर आपको उस आकार को सीमित करने के लिए हैश तालिका से हाल ही में नहीं देखे गए तारों को हटाने का एक तरीका चाहिए। लेकिन अगर तार deserialisation कोड पथ बनाने कम रहते हैं वैसे भी आप बहुत कुछ हासिल नहीं करेंगे।


1

यहां कुछ ऐसे तरीके सटीक पहचान करने के लिए की जोड़ी हैं कॉल-स्टैक की LOH आवंटन।

और LOH विखंडन से बचने के लिए वस्तुओं के बड़े सरणी को पूर्व-आवंटित करें और उन्हें पिन करें। आवश्यकता पड़ने पर इन वस्तुओं का पुन: उपयोग करें। यहाँ LOH फ्रैग्मेन्टेशन पर पोस्ट है । ऐसा कुछ LOH विखंडन से बचने में मदद कर सकता है।


मैं यह नहीं देख सकता कि यहाँ पिन करने में मदद क्यों करनी चाहिए? LOH पर BTW बड़ी वस्तुओं को वैसे भी GC द्वारा स्थानांतरित नहीं किया गया है। इसका कार्यान्वयन विवरण हालांकि।
user492238

1

उत्तर में लिंक "त्रुटि 404 (नहीं मिला)" देता है
पैंग
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.