हमें मल्टीप्रोसेसिंग कब कहना चाहिए।

Question 1

मैं निम्नलिखित के रूप में 'multiprocess.Pool.imap_unordered' का उपयोग कर रहा हूं

from multiprocessing import Pool
pool = Pool()
for mapped_result in pool.imap_unordered(mapping_func, args_iter):
    do some additional processing on mapped_result

क्या मुझे लूप के लिए कॉल करने की आवश्यकता है pool.closeया pool.joinउसके बाद?

Question 2

नहीं, तुम नहीं, लेकिन यह शायद एक अच्छा विचार है अगर आप अब पूल का उपयोग नहीं करने जा रहे हैं।

इस एसओ पोस्ट में टिम पीटर्स द्वारा कॉल करने pool.closeया कहने के कारण pool.joinअच्छे हैं :

जैसा कि Pool.close () में, आपको कॉल करना चाहिए कि कब - और केवल तभी - जब आप पूल के उदाहरण में अधिक कार्य सबमिट करने वाले नहीं हैं। इसलिए पूल.क्लोज () को आम तौर पर तब कहा जाता है जब आपके मुख्य कार्यक्रम का समानांतर भाग समाप्त हो जाता है। तब कार्यकर्ता प्रक्रियाएं समाप्त हो जाएंगी जब पहले से ही सौंपे गए सभी काम पूरे हो चुके हैं।

पूल प्रक्रिया () को समाप्त करने के लिए कार्यकर्ता प्रक्रियाओं की प्रतीक्षा करना भी उत्कृष्ट अभ्यास है। अन्य कारणों के अलावा, समानांतर कोड में अपवादों को रिपोर्ट करने का कोई अच्छा तरीका नहीं है (अपवाद केवल एक संदर्भ में होता है जो केवल आपके मुख्य कार्यक्रम से संबंधित है), और Pool.join () एक सिंक्रनाइज़ेशन बिंदु प्रदान करता है जो कुछ अपवादों की रिपोर्ट कर सकता है। कार्यकर्ता प्रक्रियाओं में जो आप अन्यथा कभी नहीं देखेंगे।

Question 3

मेरे पास मेमोरी का एक ही मुद्दा था क्योंकि मेमोरी उपयोग पायथन के मल्टीप्रोसेसिंग के साथ बढ़ रहा है। जब मैंने उपयोग नहीं किया था pool.close()और pool.join()जब pool.map()एक फ़ंक्शन के साथ उपयोग किया गया था जो कि लेवेन्सहाइट दूरी की गणना करता था। फ़ंक्शन ने ठीक काम किया, लेकिन एक Win7 64 मशीन पर कचरा ठीक से एकत्र नहीं किया गया था, और मेमोरी उपयोग हर बार नियंत्रण से बाहर हो रहा था, जब तक कि यह पूरे ऑपरेटिंग सिस्टम को नीचे नहीं ले जाता है। यहाँ वह कोड है जो रिसाव को ठीक करता है:

stringList = []
for possible_string in stringArray:
    stringList.append((searchString,possible_string))

pool = Pool(5)
results = pool.map(myLevenshteinFunction, stringList)
pool.close()
pool.join()

पूल को बंद करने और जुड़ने के बाद मेमोरी लीक हो गई।