मैं बाहर जाने से पहले स्पार्क के साथ प्रयोग करने के लिए VMs का एक सेट बनाने पर काम कर रहा हूं और कुछ हार्डवेयर के साथ क्लस्टर बनाने पर पैसे खर्च कर रहा हूं। क्विक नोट: मैं एप्लाइड मशीन लर्निंग में बैकग्राउंड वाला एक अकादमिक हूं और डेटा साइंस में थोड़ा काम छोड़ देता हूं। मैं कंप्यूटिंग के लिए उपकरणों का उपयोग करता हूं, शायद ही कभी मुझे उन्हें स्थापित करने की आवश्यकता होगी।
मैंने 3 वीएम (1 मास्टर, 2 दास) बनाए हैं और स्पार्क को सफलतापूर्वक स्थापित किया है। सब कुछ वैसा ही काम करता दिख रहा है जैसा उसे होना चाहिए। मेरी समस्या एक जुपिटर सर्वर बनाने में है जो कि क्लस्टर पर मशीन पर नहीं चलने वाले ब्राउज़र से जुड़ा हो सकता है।
मैंने Jupyter नोटबुक सफलतापूर्वक स्थापित किया है ... और यह चलता है। मैंने एक नया IPython प्रोफ़ाइल जोड़ा है जो स्पार्क के साथ एक दूरस्थ सर्वर से जुड़ रहा है ।
अब समस्या है
आदेश
$ ipython --profile=pyspark
ठीक चलता है और यह स्पार्क क्लस्टर से जुड़ता है। तथापि,
$ ipython notebook --profile=pyspark
[<stuff is here>] Unrecognized alias: "profile=pyspark", it will probably have no effect.
defaultप्रोफ़ाइल
को डिफॉल्ट करता है प्रोफ़ाइल को नहीं pyspark।
मेरे नोटबुक कॉन्फ़िगरेशन के लिए pysparkहै:
c = get_config()
c.NotebookApp.ip = '*'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 8880
c.NotebookApp.server_extensions.append('ipyparallel.nbextension')
c.NotebookApp.password = u'some password is here'
$ ipython --profile=pyspark notebook? यह हो सकता है कि समस्या केवल तर्कों के आदेश के साथ थी।