क्या पायथन विभाजन की गलती का कारण बनता है?

Question 1

मैं पायथन में कोसाराजू के मजबूत कनेक्टेड घटक (एससीसी) ग्राफ खोज एल्गोरिदम को लागू कर रहा हूं।

कार्यक्रम छोटे डेटा सेट पर बहुत अच्छा चलता है, लेकिन जब मैं इसे सुपर-लार्ज ग्राफ (800,000 से अधिक नोड्स) पर चलाता हूं, तो यह "सेगमेंटेशन फॉल्ट" कहता है।

इसका कारण क्या हो सकता है? धन्यवाद!

अतिरिक्त जानकारी: पहले मुझे यह त्रुटि सुपर-बड़े डेटा सेट पर चलने पर मिली:

"RuntimeError: maximum recursion depth exceeded in cmp"

तब मैं पुनरावृत्ति सीमा का उपयोग करके रीसेट करता हूं

sys.setrecursionlimit(50000)

लेकिन एक 'विभाजन दोष' मिला

मेरा विश्वास करो कि यह एक अनंत लूप नहीं है, यह अपेक्षाकृत छोटे डेटा पर सही चलता है। यह संभव है कि कार्यक्रम संसाधनों को समाप्त कर दे?

Question 2

यह तब होता है जब एक अजगर विस्तार (सी में लिखा) पहुंच से परे एक स्मृति तक पहुंचने की कोशिश करता है।

आप इसे निम्नलिखित तरीकों से ट्रेस कर सकते हैं।

sys.settraceकोड की पहली पंक्ति में जोड़ें ।
मार्कgdb द्वारा वर्णित के रूप में इस उत्तर में उपयोग करें .. कमांड प्रॉम्प्ट पर
```
gdb python
(gdb) run /path/to/script.py
## wait for segfault ##
(gdb) backtrace
## stack trace of the c code
```

Question 3

मैं समझता हूं कि आपने अपना मुद्दा हल कर लिया है, लेकिन इस धागे को पढ़ने वाले अन्य लोगों के लिए, यहां जवाब है: आपको उस स्टैक को बढ़ाना होगा जो आपके ऑपरेटिंग सिस्टम को अजगर प्रक्रिया के लिए आवंटित करता है।

इसे करने का तरीका, ऑपरेटिंग सिस्टम पर निर्भर है। लिनक्स में, आप कमांड को ulimit -sअपने वर्तमान मूल्य के साथ जांच सकते हैं और इसके साथ बढ़ा सकते हैंulimit -s <new_value>

पिछले मूल्य को दोगुना करने की कोशिश करें और जब तक यह काम न करे, तब तक दोगुना जारी रखें, जब तक कि आप ऐसा न कर लें या स्मृति से बाहर न चला जाए।

Question 4

खंडन दोष एक सामान्य है, इसके कई संभावित कारण हैं:

कम स्मृति
दोषपूर्ण राम स्मृति
एक क्वेरी का उपयोग करते हुए db से एक बड़ा डेटा सेट प्राप्त करना (यदि प्राप्त डेटा का आकार स्वैप मेम से अधिक है)
गलत क्वेरी / छोटी गाड़ी कोड
लंबा लूप होना (एकाधिक पुनरावृत्ति)

Question 5

Ulimit को अद्यतन करना मेरे कोसाराजू के SCC कार्यान्वयन के लिए काम कर रहा है, जो Python (Python segfault .. जो जानता था!) और C ++ कार्यान्वयन दोनों पर सेगफ़ॉल्ट को ठीक करके।

मेरे मैक के लिए, मुझे इसके माध्यम से अधिकतम संभव पता चला:

$ ulimit -s -H
65532

Question 6

Google खोज ने मुझे यह लेख मिला, और मैंने निम्नलिखित "व्यक्तिगत समाधान" पर चर्चा नहीं की।

लिनक्स के लिए विंडोज सबसिस्टम पर पायथन 3.7 के साथ मेरी हाल की झुंझलाहट यह है कि: एक ही पंडास लाइब्रेरी के साथ दो मशीनों पर, एक मुझे segmentation faultऔर दूसरी रिपोर्ट को चेतावनी देती है। यह स्पष्ट नहीं था कि कौन सा नया था, लेकिन "फिर से स्थापित" pandasसमस्या को हल करता है।

आज्ञा है कि मैं छोटी गाड़ी मशीन पर चला।

conda install pandas

अधिक विवरण: मैं समान स्क्रिप्ट चला रहा था (Git के माध्यम से समन्वयित), और दोनों WSL + एनाकोंडा के साथ विंडोज 10 मशीन हैं। केस बनाने के लिए यहां स्क्रीनशॉट पर जाएं। इसके अलावा, मशीन पर जहां कमांड-लाइन के pythonबारे में शिकायत होगी Segmentation fault (core dumped), जुपाइटर लैब बस कर्नेल को हर बार पुनः आरंभ करता है। इससे भी बदतर, अभी तक कोई चेतावनी नहीं दी गई थी।

कुछ महीनों बाद अपडेट: मैंने विंडोज मशीन पर जुपिटर सर्वर की मेजबानी छोड़ दी। अब मैं एक लिनक्स सर्वर पर खोले गए दूरस्थ बंदरगाहों को लाने के लिए और दूरस्थ लिनक्स मशीन पर अपने सभी काम चलाने के लिए विंडोज पर डब्ल्यूएसएल का उपयोग करता हूं। मैंने कभी भी महीनों की अच्छी संख्या के लिए किसी भी निष्पादन त्रुटि का अनुभव नहीं किया है :)

Question 7

RPI पर dlib को अपग्रेड करने के बाद मैं इस विभाजन दोष का सामना कर रहा था। मैंने ढेर को ट्रेसबैक किया जैसा कि ऊपर शिप्पू मोकादिम द्वारा सुझाया गया है और यह एक ओपनबीएलएएस लाइब्रेरी पर बसा है।

चूंकि OpenBLAS भी बहु-थ्रेडेड है, इसलिए इसे मुल्ट-थ्रेडेड एप्लिकेशन में उपयोग करने से विभाजन की गलती तक तेजी से गुणा हो जाएगा। बहु-थ्रेडेड अनुप्रयोगों के लिए, OpenBlas को एकल थ्रेड मोड पर सेट करें।

अजगर आभासी वातावरण में, OpenBLAS को केवल संपादन द्वारा एक सूत्र का उपयोग करने के लिए कहें:

    $ workon <myenv>
    $ nano .virtualenv/<myenv>/bin/postactivate

और जोड़:

    export OPENBLAS_NUM_THREADS=1 
    export OPENBLAS_MAIN_FREE=1

रिबूट के बाद मैं अपने सभी इमेज रिकॉग्निशन एप्स को rpi3b पर चलाने में सक्षम था जो पहले इसे क्रैश कर रहे थे।

संदर्भ: https://github.com/ageitgey/face_recognition/issues/294

Question 8

लगता है कि आप स्टैक मेमोरी से बाहर हैं। आप इसे बढ़ाना चाह सकते हैं जैसा कि डेविड ने कहा था। अजगर कोड में करने के लिए, आपको थ्रेडिंग का उपयोग करके अपना "मुख्य ()" चलाना होगा:

def main():
    pass # write your code here

sys.setrecursionlimit(2097152)    # adjust numbers
threading.stack_size(134217728)   # for your needs

main_thread = threading.Thread(target=main)
main_thread.start()
main_thread.join()

स्रोत: codeforces पर c1729 पद । PyPy के साथ यह Runing एक सा है जटिल ।