multiprocessing पर टैग किए गए जवाब

मैं मल्टीप्रोसेसिंग मॉड्यूल के साथ उपयोग के लिए साझा मेमोरी में एक संख्यात्मक सरणी का उपयोग करना चाहूंगा। कठिनाई इसे एक संख्यात्मक सरणी की तरह उपयोग कर रही है, और केवल ctypes सरणी के रूप में नहीं। from multiprocessing import Process, Array import scipy def f(a): a[0] = -a[0] if …

111 python  numpy  multiprocessing  shared 

पायथन मल्टीप्रोसेसिंग (एक PMOTW लेख से ) के बारे में सीखना और वास्तव में join()विधि क्या कर रही है पर कुछ स्पष्टीकरण पसंद करेंगे । 2008 के एक पुराने ट्यूटोरियल में यह कहा गया है कि p.join()नीचे दिए गए कोड में कॉल के बिना , "बच्चे की प्रक्रिया बेकार बैठ …

110 python  multiprocessing 

क्या कार्यक्रम में पहले बनाई गई मल्टीप्रोसेसिंग शेयर ऑब्जेक्ट्स के माध्यम से बच्चे की प्रक्रियाओं को जन्म दिया जाता है ? मेरे पास निम्न सेटअप है: do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: # something here if __name__ == '__main__': big_lookup_object = marshal.load('file.bin') pool = Pool(processes=4) print pool.map(do_some_processing, …

107 python  multiprocessing 

मैंने पाया है कि अजगर 3.4 में वहाँ बहु / सूत्रण के लिए कुछ अलग पुस्तकालयों हैं: बहु बनाम सूत्रण बनाम asyncio । लेकिन मुझे नहीं पता कि कौन सा उपयोग करना है या "अनुशंसित एक" है। क्या वे एक ही काम करते हैं, या अलग हैं? यदि हां, तो …

105 python  multithreading  python-3.x  multiprocessing  python-asyncio 

मेरे कोड को और अधिक "पायथोनिक" बनाने के लिए और तेजी से, मैं "मल्टीप्रोसेसिंग" और इसे भेजने के लिए एक मानचित्र फ़ंक्शन का उपयोग करता हूं) फ़ंक्शन और बी) पुनरावृत्तियों की सीमा। प्रत्यारोपित समाधान (यानी, रेंज tqdm.tqdm पर सीधे कॉल tqdm (रेंज (0, 30)) मल्टीप्रोसेसिंग के साथ काम नहीं करता …

103 python  multiprocessing  progress-bar  tqdm 

क्या एक अजगर पूल बनाना संभव होगा जो गैर-डेमोनिक हो? मैं एक ऐसा पूल चाहता हूं जो एक फ़ंक्शन को कॉल करने में सक्षम हो, जिसमें एक और पूल है। मैं ऐसा चाहता हूं क्योंकि बहरीन प्रक्रियाएं प्रक्रिया नहीं बना सकती हैं। विशेष रूप से, यह त्रुटि का कारण होगा: …

96 python  multiprocessing  pool 

मेरे पास एक स्क्रिप्ट है जो सफलतापूर्वक एक imap_unordered()कॉल के साथ कार्यों का एक बहुप्रतीक्षित पूल सेट कर रही है : p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion हालांकि, मेरी num_tasksलगभग 250,000 है, और इसलिए join()10 सेकंड या तो के …

95 python  multiprocessing 

मुझे यह समझने में बहुत परेशानी हो रही है कि अजगर पर मल्टीप्रोसेसिंग कतार कैसे काम करती है और इसे कैसे लागू किया जाए। आइए कहते हैं कि मेरे पास दो अजगर मॉड्यूल हैं जो एक साझा फ़ाइल से डेटा तक पहुंचते हैं, चलो इन दो मॉड्यूल को एक लेखक …

94 python  multithreading  multiprocessing 

multiprocessingमॉड्यूल के लिए प्रलेखन से पता चलता है कि एक कतार को एक प्रक्रिया से कैसे गुजरना है multiprocessing.Process। लेकिन मैं अतुल्यकालिक कार्यकर्ता प्रक्रियाओं के साथ एक कतार कैसे साझा कर सकता हूं apply_async? मुझे डायनेमिक जॉइनिंग या किसी और चीज की जरूरत नहीं है, श्रमिकों के लिए एक तरह …

92 python  parallel-processing  queue  multiprocessing  python-multiprocessing 

मैंने http://docs.python.org/dev/library/multiprocessing.html पर दस्तावेज़ीकरण पढ़ने की कोशिश की, लेकिन मैं अभी भी कतार, पूल और लॉकिंग को गुणा करने से जूझ रहा हूं। और अब मैं नीचे दिए गए उदाहरण का निर्माण करने में सक्षम था। क्यू और पूल के बारे में, मुझे यकीन नहीं है कि अगर मैंने अवधारणा …

91 python  python-2.7  multiprocessing 

मुझे अक्सर एक बहुत बड़े DataFrame(मिश्रित डेटा प्रकारों) के समूहों में एक फ़ंक्शन लागू करने की आवश्यकता होती है और कई कोर का लाभ उठाना चाहते हैं। मैं समूहों से एक इटरेटर बना सकता हूं और मल्टीप्रोसेसिंग मॉड्यूल का उपयोग कर सकता हूं, लेकिन यह कुशल नहीं है क्योंकि प्रक्रियाओं …

89 python  pandas  multiprocessing  shared-memory 

मेरे पास एक 60GB SciPy Array (मैट्रिक्स) है जिसे मुझे 5+ multiprocessing Processवस्तुओं के बीच साझा करना चाहिए । मैंने सुन्न-साझा देखा और SciPy सूची पर इस चर्चा को पढ़ा । वहाँ दो दृष्टिकोण लग रहे हैं - numpy-sharedmemऔर एक multiprocessing.RawArray()और मैपिंग करने के लिए NumPy dtypes का उपयोग करना …

88 python  numpy  multiprocessing  shared-memory 

मैंने पायथन 3.2.2 में कई कोर पर इसे चलाने में सक्षम होने के लिए कुछ सीएसवी-रीडिंग कोड को फिर से लिखने की कोशिश की। मैंने Poolमल्टीप्रोसेसिंग की वस्तु का उपयोग करने की कोशिश की , जिसे मैंने काम करने के उदाहरणों से अनुकूलित किया (और पहले से ही मेरी परियोजना …

87 python  python-3.x  multiprocessing  pool 

पृष्ठभूमि: मैं एक प्रोजेक्ट पर काम कर रहा हूं जो पोस्टग्रॉज़ डेटाबेस के साथ Django का उपयोग करता है। हम मामले में mod_wsgi का भी उपयोग कर रहे हैं जो मायने रखता है, क्योंकि मेरी कुछ वेब खोजों ने इसका उल्लेख किया है। वेब फ़ॉर्म सबमिट करने पर, Django का …

85 django  multiprocessing 

क्या कारकों chunksizeजैसे तरीकों के लिए एक इष्टतम तर्क निर्धारित करते हैं multiprocessing.Pool.map()? यह .map()विधि अपने डिफ़ॉल्ट चंकाइज़ (नीचे समझाया गया) के लिए एक मनमाने ढंग से उपयोग करने के लिए लगता है; उस विकल्प को क्या प्रेरित करता है और क्या कुछ विशेष स्थिति / सेटअप के आधार पर …

84 python  python-3.x  parallel-processing  multiprocessing  python-multiprocessing