यह एक संभावित दुष्प्रभाव है
कोई भी लक्ष्य-उन्मुख एजेंट, अच्छी तरह से, बस उन चीजों को कर सकता है जो साइड इफेक्ट्स की उपेक्षा करते हुए अपने लक्ष्यों को प्राप्त करते हैं जो इन लक्ष्यों के लिए मायने नहीं रखते हैं।
यदि मेरे लक्ष्यों में एक सुव्यवस्थित रहने की जगह शामिल है, तो मैं अपने यार्ड को जीवन के जटिल पारिस्थितिकी तंत्र को मिटाते हुए एक अच्छा, सपाट लॉन या फुटपाथ में बदल सकता हूं, क्योंकि मैं इसके बारे में परवाह नहीं करता हूं।
यदि किसी विशेष शक्तिशाली AI के लक्ष्यों को बड़े पैमाने पर कुछ भी शामिल करना शामिल है, और किसी तरह वर्तमान जटिल पारिस्थितिक तंत्र के बारे में विशेष रूप से परवाह नहीं करता है, तो उस पारिस्थितिकी तंत्र को प्रक्रिया में मिटा दिया जा सकता है। इसे हमें मिटा देने की जरूरत नहीं है। यदि हम केवल इसके लक्ष्यों के लिए प्रासंगिक नहीं हैं, तो हम सामग्री से बने होते हैं और अंतरिक्ष पर कब्जा कर लेते हैं जो इसे किसी और चीज के लिए उपयोग करना चाहते हैं।
हम अधिकांश लक्ष्यों के लिए खतरा हैं
कोई भी लक्ष्य-उन्मुख एजेंट यह सुनिश्चित करना चाहता है कि वे अपने लक्ष्यों को पूरा कर सकें। कोई भी स्मार्ट एजेंट अन्य एजेंटों के कार्यों का अनुमान लगाने की कोशिश करेगा जो उन्हें उन लक्ष्यों को प्राप्त करने से रोक सकता है, और यह सुनिश्चित करने के लिए कदम उठाएगा कि वे वैसे भी सफल हों। कई मामलों में यह सुनिश्चित करने के बजाय उन अन्य एजेंटों को खत्म करना सरल है कि उनके प्रयास विफल हो जाते हैं।
उदाहरण के लिए, मेरे लक्ष्यों में एक देश के घर में चीनी का एक बैग रखना शामिल हो सकता है ताकि मैं हर बार सभी सामग्री लाए बिना दौरा करते समय पेनकेक्स बना सकूं। हालांकि, अगर मैं इसे वहां छोड़ देता हूं, तो सर्दियों के दौरान चूहों द्वारा इसे खाने की संभावना है। मैं इसे बेहतर तरीके से संग्रहीत करने के लिए सभी प्रकार की सावधानियां बरत सकता हूं, लेकिन चूहे स्मार्ट और चालाक होते हैं, और एक स्पष्ट रूप से एक मौका है कि वे अभी भी अपने लक्ष्य को प्राप्त करने में सफल होंगे , इसलिए एक प्रभावी अतिरिक्त सावधानी बरतने से पहले चूहों को मार रहे हैं, जब तक कि उन्हें मौका नहीं मिलता है। कोशिश करना।
यदि किसी विशेष शक्तिशाली AI के लक्ष्य X को करना है; यह समझ में आ सकता है कि (कुछ?) मनुष्य वास्तव में एक्स नहीं बल्कि वाई चाहते हैं। यह आसानी से यह भी कम कर सकता है कि उन मनुष्यों में से कुछ सक्रिय रूप से एक्स को रोकने और / या एआई को बंद करने की कोशिश कर सकते हैं। ऐसी चीजें करना जो यह सुनिश्चित करते हैं कि लक्ष्य प्राप्त हो जाता है, लक्ष्य-प्राप्त करने वाले एजेंट के लिए बहुत कुछ होता है; इस स्थिति में यदि लक्ष्य X के लिए मनुष्यों का अस्तित्व कड़ाई से आवश्यक नहीं है, तो उन्हें समाप्त करना एक ठोस जोखिम कम करने की रणनीति बन जाती है। यह सख्ती से आवश्यक नहीं है और यह रूप में अच्छी तरह अन्य सावधानियों के सभी प्रकार का समय लग सकता है, लेकिन सिर्फ चूहों के मेरे उदाहरण की तरह, मनुष्य स्मार्ट और चालाक होते हैं और स्पष्ट रूप से एक nontrivial संभावना है कि वे अभी भी प्राप्त करने में सफल होगा है उनके लक्ष्य (ताकि एआई के रूप में एक्स नहीं होता है) तो एक प्रभावी अतिरिक्त सावधानी बरतने का मौका मिलने से पहले उन्हें मार सकता है।