यह सिर्फ हॉकिंग नहीं है, आप बहुत से लोगों से इस परहेज पर बदलाव सुनते हैं। और यह देखते हुए कि वे ज्यादातर स्मार्ट, अच्छी तरह से शिक्षित, अच्छी तरह से सूचित लोग हैं (एलोन मस्क एक और है, उदाहरण के लिए), यह शायद हाथ से खारिज नहीं किया जाना चाहिए।
वैसे भी, मूल विचार यह प्रतीत होता है: यदि हम किसी बिंदु पर "वास्तविक" कृत्रिम बुद्धिमत्ता का निर्माण करते हैं, तो यह स्वयं को सुधारने में सक्षम होगा, जो इसे सुधारने की क्षमता में सुधार करता है, जिसका अर्थ है कि यह सुधार कर सकता है यह स्वयं को सुधारने की क्षमता भी है अधिक, और इतने पर ... एक भगोड़ा झरना "अलौकिक बुद्धि" के लिए अग्रणी। यह कहना है, कुछ है कि हम क्षेत्र से अधिक बुद्धिमान के लिए अग्रणी।
तो क्या होता है अगर इस ग्रह पर एक इकाई है जो सचमुच हमारे (मनुष्यों) से अधिक बुद्धिमान है? क्या यह हमारे लिए खतरा होगा? ठीक है, यह निश्चित रूप से अनुमान लगाने के लिए उचित लगता है कि ऐसा हो सकता है। OTOH, हमारे पास अभी कोई विशेष कारण नहीं है, यह सोचने के लिए कि ऐसा होगा ।
तो ऐसा लगता है कि हॉकिंग, मस्क आदि चीजों के अधिक सतर्क / भयभीत पक्ष पर उतर रहे हैं। चूँकि हम नहीं जानते कि कोई अलौकिक एआई खतरनाक होगा या नहीं, और यह देखते हुए कि अगर यह दुर्भावनापूर्ण हो जाए तो यह अजेय हो सकता है (याद रखें, यह हमारी तुलना में अधिक चालाक है!), यह ध्यान में रखना एक उचित बात है।
एलीएजर युडकोव्स्की ने भी इस विषय पर काफी कुछ लिखा है, जिसमें प्रसिद्ध "एआई बॉक्स" प्रयोग भी शामिल है। मुझे लगता है कि इस विषय में रुचि रखने वाले किसी व्यक्ति को उसकी कुछ सामग्री पढ़नी चाहिए।
http://www.yudkowsky.net/singularity/aibox/