एकल UTF-8 एन्कोडेड वर्ण के लिए बाइट की अधिकतम संख्या क्या है?
मैं UTF-8 में एन्कोड किए गए स्ट्रिंग के बाइट्स को एन्क्रिप्ट कर रहा हूं और इसलिए UTF-8 एनकोडेड स्ट्रिंग के लिए अधिकतम बाइट्स को निकालने में सक्षम होने की आवश्यकता है।
क्या कोई एकल UTF-8 एन्कोडेड वर्ण के लिए अधिकतम बाइट्स की पुष्टि कर सकता है
जवाबों:
RFC3629 के अनुसार प्रति वर्ण बाइट्स की अधिकतम संख्या 4 है जो वर्ण तालिका को सीमित करता है U+10FFFF:
UTF-8 में, U + 0000..U + 10FFFF श्रेणी (UTF-16 सुलभ श्रेणी) के वर्ण 1 से 4 ऑक्टेट के अनुक्रमों का उपयोग करके एन्कोड किए गए हैं।
(मूल विनिर्देश पिछले अंक कोड के लिए छह बाइट चरित्र कोड के लिए अनुमति दी है U+10FFFF।)
128 से कम कोड वाले वर्णों को केवल 1 बाइट की आवश्यकता होगी, और अगले 1920 वर्ण कोड में केवल 2 बाइट्स की आवश्यकता होती है। जब तक आप एक गूढ़ भाषा के साथ काम नहीं कर रहे हैं, तब तक चरित्र की गिनती को 4 से गुणा करना एक महत्वपूर्ण overestimation होगा।
11111111और एक होने 2^(6*7)पात्रों के लिए थोड़ा अंतरिक्ष?
आगे के संदर्भ के बिना, मैं कहूंगा कि UTF-8 में एक चरित्र के लिए बाइट की अधिकतम संख्या है
उत्तर: 6 बाइट्स
स्वीकृत उत्तर के लेखक ने इसे "मूल विनिर्देश" कहा। यह RFC-2279 1 के माध्यम से मान्य था । जैसा कि जे। कोको ने नीचे टिप्पणियों में बताया, यह 2003 में RFC-3629 2 के साथ बदल गया , जो UTF-8 को 21 बिट्स के लिए एन्कोडिंग तक सीमित करता है, जिसे चार बाइट्स का उपयोग करके एन्कोडिंग योजना के साथ संभाला जा सकता है।
सभी यूनिकोड को कवर करने पर उत्तर: 4 बाइट्स
लेकिन, जावा <= v7 में , वे यूटीएफ -8 के साथ यूनिकोड का प्रतिनिधित्व करने के लिए अधिकतम 3-बाइट के बारे में बात करते हैं? ऐसा इसलिए है क्योंकि मूल यूनिकोड विनिर्देशन ने केवल बुनियादी बहुभाषी विमान ( बीएमपी ) को परिभाषित किया है , अर्थात यह यूनिकोड का एक पुराना संस्करण है, या आधुनिक यूनिकोड का सबसेट है। इसलिए
केवल मूल यूनिकोड का प्रतिनिधित्व करने पर उत्तर, बीएमपी: 3 बाइट्स
लेकिन, ओपी दूसरे रास्ते से जाने की बात करते हैं। वर्णों से UTF-8 बाइट्स तक नहीं, बल्कि UTF-8 बाइट्स से बाइट्स प्रतिनिधित्व के "स्ट्रिंग" तक। शायद स्वीकार किए गए उत्तर के लेखक को सवाल के संदर्भ से मिला है, लेकिन यह आवश्यक रूप से स्पष्ट नहीं है, इसलिए इस प्रश्न के आकस्मिक पाठक को भ्रमित कर सकता है।
UTF-8 से देशी एन्कोडिंग में जाने पर, हमें यह देखना होगा कि "स्ट्रिंग" कैसे लागू किया जाता है। कुछ भाषाएँ, जैसे पायथन> = 3 पूर्णांक कोड बिंदुओं के साथ प्रत्येक वर्ण का प्रतिनिधित्व करेंगी, जो कि प्रति वर्ण 4 बाइट्स के लिए अनुमति देता है = 32 बिट्स जो हमें यूनिकोड के लिए आवश्यक हैं, कुछ कचरे के साथ कवर करने के लिए। 21 बिट्स क्यों नहीं? क्योंकि चीजें तेजी से तब होती हैं जब वे बाइट-संरेखित होती हैं। पायथन <= 2 और जावा जैसी कुछ भाषाएं यूटीएफ -16 एन्कोडिंग का उपयोग करते हुए वर्णों का प्रतिनिधित्व करती हैं, जिसका अर्थ है कि उन्हें विस्तारित यूनिकोड (नहीं बीएमपी) का प्रतिनिधित्व करने के लिए सरोगेट जोड़े का उपयोग करना होगा। किसी भी तरह से अभी भी अधिकतम 4 बाइट्स है।
उत्तर दे अगर UTF-8 -> देशी एन्कोडिंग: 4 बाइट्स
तो, अंतिम निष्कर्ष, 4 सबसे आम सही उत्तर है, इसलिए हमने इसे सही पाया। लेकिन, माइलेज अलग हो सकता है।
1F FF FF21 बिट्स में दर्शाया जा सकता है । 0x1100 नंबर प्रत्येक के 0x10000 कोड बिंदुओं के 17 विमानों से मेल खाता है ।
US-ASCII, एक मानक अंग्रेजी वर्णमाला एन्कोडिंग का समर्थन करने के लिए बाइट्स की अधिकतम संख्या है, 1. लेकिन अंग्रेजी में पाठ को सीमित करना कम वांछनीय या व्यावहारिक होता जा रहा है क्योंकि समय बीत जाता है।
यूनिकोड को सभी मानव भाषाओं के ग्लिफ़ का प्रतिनिधित्व करने के लिए डिज़ाइन किया गया था, साथ ही कई प्रकार के प्रतीकों के साथ, कई प्रकार की रेंडरिंग विशेषताओं के साथ। यूटीएफ -8 यूनिकोड के लिए एक कुशल एन्कोडिंग है, हालांकि अभी भी अंग्रेजी की ओर पक्षपाती है। UTF-8 स्व-सिंक्रनाइज़िंग है: चरित्र सीमाओं को आसानी से किसी भी दिशा में अच्छी तरह से परिभाषित बिट पैटर्न के लिए स्कैन करके पहचाना जाता है।
जबकि UTF-8 वर्ण प्रति बाइट्स की अधिकतम संख्या प्लेन 0 के केवल 2-बाइट एड्रेस स्पेस को सपोर्ट करने के लिए 3 है, बेसिक मल्टीलिंगुअल प्लेन (BMP), जिसे कुछ अनुप्रयोगों में न्यूनतम समर्थन के रूप में स्वीकार किया जा सकता है, यह समर्थन के लिए 4 है यूनिकोड के सभी 17 वर्तमान विमान (2019 तक)। यह ध्यान दिया जाना चाहिए कि कई लोकप्रिय "इमोजी" अक्षर प्लेन 16 में स्थित होने की संभावना है, जिसमें 4 बाइट्स की आवश्यकता होती है।
हालाँकि, यह सिर्फ बेसिक कैरेक्टर ग्लिफ़ के लिए है। विभिन्न मॉडिफायर भी हैं, जैसे कि उच्चारण पिछले चरित्र पर दिखाई देते हैं, और एक जटिल "ग्रैफेम" के निर्माण के लिए कोड बिंदुओं की एक मनमानी संख्या को एक साथ जोड़ना भी संभव है। वास्तविक विश्व प्रोग्रामिंग में, इसलिए, प्रति वर्ण निश्चित बाइट्स की अधिकतम संख्या के उपयोग या अनुमान से अंततः आपके आवेदन के लिए समस्या उत्पन्न होगी।
इन विचारों का अर्थ है कि UTF-8 वर्ण तार प्रसंस्करण से पहले निश्चित लंबाई के सरणियों में "विस्तारित" नहीं होना चाहिए, जैसा कि कभी-कभी हुआ है। इसके बजाय, प्रोग्रामिंग को सीधे किया जाना चाहिए, विशेष रूप से UTF-8 के लिए डिज़ाइन किए गए स्ट्रिंग फ़ंक्शन का उपयोग करके।