क्या मेरा GPU मर रहा है?

Question

मैं एक NVIDIA K20m (मेरी नोड में डिवाइस 0) पर अस्थायी रूप से ईसीसी मेमोरी सुरक्षा को अक्षम करता हूं और अब मैं इसे फिर से काम पर नहीं ला सकता। इससे पहले यह ECC सक्षम के साथ ठीक से काम कर रहा था। तो, यहाँ मैंने क्या किया: मैंने ECC को निष्क्रिय कर दिया

nvidia-smi -i 0 --ecc-config=0

और रिबूट किया गया। जब यह आया तो यह 100% GPU उपयोग दिखाया गया है और यह किसी भी गुठली शुरू नहीं होगा (यह वास्तव में पहले से ही जब संदर्भ बनाने में विफल रहा है)। वजह थी डबल बिट एरर। मैंने इसे रीसेट कर दिया

nvidia-smi -i 0 --reset-ecc-errors=0

और नोड को रिबूट किया। रिबूट के बाद डिवाइस का उपयोग 0% था और मैं हमेशा की तरह नौकरी शुरू कर सकता था। कुछ घंटों बाद डिवाइस ने फिर से 100% जीपीयू उपयोग दिखाया। इस बार इसने एक डबल बिट त्रुटि (एक भी बिट त्रुटि नहीं) की सूचना नहीं दी। हालाँकि, चूंकि मैं कोई नौकरी नहीं चला सकता था इसलिए मैंने नोड को रिबूट किया और यह 100% जीपीयू उपयोग के साथ आया, मैं इसका उपयोग नहीं कर सकता, लेकिन कोई त्रुटि नहीं है। यह क्या बात है?

GPU 0000:02:00.0
    Product Name                : Tesla K20m
    Display Mode                : Disabled
    Persistence Mode            : Enabled
    Driver Model
        Current                 : N/A
        Pending                 : N/A
    Serial Number               : 0324512044699
    GPU UUID                    : GPU-9bfe1aba-1628-a406-3ed5-2af49462a997
    VBIOS Version               : 80.10.11.00.0B
    Inforom Version
        Image Version           : 2081.0208.01.07
        OEM Object              : 1.1
        ECC Object              : 3.0
        Power Management Object : N/A
    GPU Operation Mode
        Current                 : Compute
        Pending                 : Compute
    PCI
        Bus                     : 0x02
        Device                  : 0x00
        Domain                  : 0x0000
        Device Id               : 0x102810DE
        Bus Id                  : 0000:02:00.0
        Sub System Id           : 0x101510DE
        GPU Link Info
            PCIe Generation
                Max             : 2
                Current         : 2
            Link Width
                Max             : 16x
                Current         : 16x
    Fan Speed                   : N/A
    Performance State           : P0
    Clocks Throttle Reasons
        Idle                    : Not Active
        User Defined Clocks     : Not Active
        SW Power Cap            : Not Active
        HW Slowdown             : Not Active
        Unknown                 : Not Active
    Memory Usage
        Total                   : 4799 MB
        Used                    : 12 MB
        Free                    : 4787 MB
    Compute Mode                : Default
    Utilization
        Gpu                     : 100 %
        Memory                  : 0 %
    Ecc Mode
        Current                 : Enabled
        Pending                 : Enabled
    ECC Errors
        Volatile
            Single Bit            
                Device Memory   : 0
                Register File   : 0
                L1 Cache        : 0
                L2 Cache        : 0
                Texture Memory  : 0
                Total           : 0
            Double Bit            
                Device Memory   : 0
                Register File   : 0
                L1 Cache        : 0
                L2 Cache        : 0
                Texture Memory  : 0
                Total           : 0
        Aggregate
            Single Bit            
                Device Memory   : 0
                Register File   : 0
                L1 Cache        : 0
                L2 Cache        : 0
                Texture Memory  : 0
                Total           : 0
            Double Bit            
                Device Memory   : 0
                Register File   : 0
                L1 Cache        : 0
                L2 Cache        : 0
                Texture Memory  : 0
                Total           : 0
    Temperature
        Gpu                     : 30 C
    Power Readings
        Power Management        : Supported
        Power Draw              : 49.51 W
        Power Limit             : 225.00 W
        Default Power Limit     : 225.00 W
        Min Power Limit         : 150.00 W
        Max Power Limit         : 225.00 W
    Clocks
        Graphics                : 758 MHz
        SM                      : 758 MHz
        Memory                  : 2600 MHz
    Applications Clocks
        Graphics                : 705 MHz
        Memory                  : 2600 MHz
    Max Clocks
        Graphics                : 758 MHz
        SM                      : 758 MHz
        Memory                  : 2600 MHz
    Compute Processes           : None

Comments

अजीब लगता है; ऐसा कुछ भी कभी नहीं देखा। हालांकि यह समस्या को हल करने में मदद नहीं कर सकता है, फिर भी अपने ड्राइवरों को पुनः स्थापित करने का प्रयास करें, हो सकता है?

— बेन फ्रैंचुक Ben

मुझे लगता है कि आपने पहले ही स्पष्ट करने और सब कुछ पुनर्स्थापित करने की कोशिश की थी? मेरा मतलब है, उह, मैं हार्डवेयर के बारे में बहुत कम जानता हूं, इसलिए मेरा दृष्टिकोण हमेशा यह सुनिश्चित करने के लिए है कि सॉफ्टवेयर - मुझे जो समझ में आता है - उसे काम करना चाहिए। और फिर मैं संभवतः एक अधिक जानकार की राय द्वारा खंडित किए गए टुकड़े को घोषित कर दूंगा।

— एरियन

मैंने इसे देखा है, साथ ही इस मुद्दे और इसके कारणों पर शोध करने में कुछ समय बिताया है। ऐसा लगता है कि हार्डवेयर को बदलने के लिए सबसे अच्छा समाधान है।

— अडॉवी

क्या आपने पहले से ही CMOS को रीसेट करने की कोशिश की थी?

— सर्गेई

Answer 1

क्या मेरा GPU मर रहा है?

मैं कहता हूं कि यह पहले ही मर चुका है। यह अब बिट त्रुटियों की रिपोर्ट नहीं कर रहा है क्योंकि आपने उस चीज़ को बंद कर दिया है जो उन्हें पता लगाता है। (ECC इससे अधिक सही होने का पता लगाता है।) हालाँकि, यह कार्ड पर मेमोरी (या स्वयं भौतिक कार्ड) हो सकता है जो एक गलती विकसित की है।

इससे पहले कि मैं इसे "रीसायकल" बिन में चक दूं, दो अन्य संदिग्ध हैं: शीतलन, और बिजली की आपूर्ति। ठंडा करना काफी आसान है; शक्ति, इतना नहीं।