सूत्रों का हवाला दिए बिना, विकिपीडिया असतत वितरण पी और क्यू के क्रॉस-एंट्रोपी को परिभाषित करता है
इस मात्रा का उपयोग शुरू करने के लिए सबसे पहले कौन था? और इस शब्द का आविष्कार किसने किया? मैंने इसमें देखा:
जेई शोर और आरडब्ल्यू जॉनसन, "अधिकतम एन्ट्रापी के सिद्धांत और न्यूनतम क्रॉस-एन्ट्रापी के सिद्धांत के एशियोमेटिक व्युत्पन्न," सूचना सिद्धांत, IEEE लेनदेन पर, वॉल्यूम। 26, सं। 1, पीपी 26-37, जनवरी 1980।
मैंने उनका परिचय दिया
ए। वेहरल, "एन्ट्रॉपी के सामान्य गुण," आधुनिक भौतिकी की समीक्षा, वॉल्यूम। 50, नहीं। 2, पीपी 221-260, अप्रैल 1978।
जो कभी भी शब्द का उपयोग नहीं करता है।
न तो करता है
एस। कुल्बैक और आर। लीब्लर, "सूचना और पर्याप्तता पर," गणितीय की सांख्यिकी सांख्यिकी। 22, सं। 1, पीपी। 79-86, 1951।
मैंने अंदर देखा
टीएम कवर एंड जेए थॉमस, एलिमेंट्स ऑफ इंफॉर्मेशन थ्योरी (दूरसंचार और सिग्नल प्रोसेसिंग में विली सीरीज)। विली-इंटरसाइंस, 2006।
तथा
आई। गुड, "हाइपोथिसिस फॉर्मुलेशन के लिए अधिकतम एंट्रॉपी, विशेष रूप से बहुआयामी आकस्मिकता तालिकाओं के लिए," गणित के आंकड़े। 34, सं। 3, पीपी। 911-934, 1963।
लेकिन दोनों ही पेपर केएल-डिवर्जेशन का पर्याय बनने के लिए क्रॉस-एंट्रोपी को परिभाषित करते हैं।
मूल कागज
सीई शैनन, "एक गणितीय सिद्धांत का संचार," बेल सिस्टम तकनीकी पत्रिका, वॉल्यूम। 27, 1948।
क्रॉस एन्ट्रॉपी का उल्लेख नहीं करता है (और "सापेक्ष एन्ट्रॉपी" की एक अजीब परिभाषा है: "एक स्रोत की एन्ट्रॉपी का अधिकतम मूल्य का अनुपात जो अभी भी समान प्रतीकों तक सीमित हो सकता है")।
अंत में, मैंने ट्रिबस द्वारा कुछ पुरानी पुस्तकों और पत्रों में देखा।
क्या किसी को पता है कि ऊपर दिए गए समीकरण को क्या कहा जाता है, और किसने इसका आविष्कार किया है या इसकी एक अच्छी प्रस्तुति है?