उदाहरण utf8 स्ट्रिंग?

Question

मैं परीक्षण कर रहा हूं कि मेरे कुछ कोड खराब डेटा को कैसे संभालते हैं, और मुझे कुछ श्रृंखला बाइट्स की आवश्यकता होती है जो कि UTF-8 अमान्य हैं।

क्या आप कुछ पोस्ट कर सकते हैं, और आदर्श रूप से, इस बात का स्पष्टीकरण कि वे बुरे क्यों हैं / आपने उन्हें कहाँ से प्राप्त किया?

Comments

के संभावित डुप्लिकेट सच गुड, द बैड UTF-8 उदाहरण परीक्षण डेटा

— Claudiu

Answer 1

पर एक नज़र डालें मार्कस कुह्न की UTF-8 डिकोडर क्षमता और तनाव परीक्षण फ़ाइल

आपको कई UTF-8 अनियमितताओं के उदाहरण मिलेंगे, जिनमें एकाकी शुरुआत बाइट्स, निरंतर बाइट्स गुम होना, अतिवृद्धि, आदि शामिल हैं।

Answer 2

PHP में:

$examples = array(
    'Valid ASCII' => "a",
    'Valid 2 Octet Sequence' => "\xc3\xb1",
    'Invalid 2 Octet Sequence' => "\xc3\x28",
    'Invalid Sequence Identifier' => "\xa0\xa1",
    'Valid 3 Octet Sequence' => "\xe2\x82\xa1",
    'Invalid 3 Octet Sequence (in 2nd Octet)' => "\xe2\x28\xa1",
    'Invalid 3 Octet Sequence (in 3rd Octet)' => "\xe2\x82\x28",
    'Valid 4 Octet Sequence' => "\xf0\x90\x8c\xbc",
    'Invalid 4 Octet Sequence (in 2nd Octet)' => "\xf0\x28\x8c\xbc",
    'Invalid 4 Octet Sequence (in 3rd Octet)' => "\xf0\x90\x28\xbc",
    'Invalid 4 Octet Sequence (in 4th Octet)' => "\xf0\x28\x8c\x28",
    'Valid 5 Octet Sequence (but not Unicode!)' => "\xf8\xa1\xa1\xa1\xa1",
    'Valid 6 Octet Sequence (but not Unicode!)' => "\xfc\xa1\xa1\xa1\xa1\xa1",
);

से http://www.php.net/manual/en/reference.pcre.pattern.modifiers.php#54805

Answer 3

,, विशेष रूप से दुष्ट था। मैं इसे ubuntu पर संयुक्त रूप में देखता हूं।

कॉमा-ब्रीव

Answer 4

बीमार बाइट-सीक्वेंस के पैटर्न का विचार अच्छी तरह से गठित बाइट सीक्वेंस की तालिका से लिया जा सकता है। यूनिकोड मानक 6.2 में " तालिका 3-7। अच्छी तरह से गठित UTF-8 बाइट अनुक्रम " देखें।

    Code Points    First Byte Second Byte Third Byte Fourth Byte
  U+0000 -   U+007F   00 - 7F
  U+0080 -   U+07FF   C2 - DF    80 - BF
  U+0800 -   U+0FFF   E0         A0 - BF     80 - BF
  U+1000 -   U+CFFF   E1 - EC    80 - BF     80 - BF
  U+D000 -   U+D7FF   ED         80 - 9F     80 - BF
  U+E000 -   U+FFFF   EE - EF    80 - BF     80 - BF
 U+10000 -  U+3FFFF   F0         90 - BF     80 - BF    80 - BF
 U+40000 -  U+FFFFF   F1 - F3    80 - BF     80 - BF    80 - BF
U+100000 - U+10FFFF   F4         80 - 8F     80 - BF    80 - BF

यहां U + 24B62 से उत्पन्न उदाहरण दिए गए हैं। मैंने उन्हें एक बग रिपोर्ट के लिए उपयोग किया: बग # 65045 mb_convert_encoding अच्छी तरह से निर्मित चरित्र को तोड़ता है

// U+24B62: "\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD"    ."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD"

अनुगामी बाइट्स की सीमा ([0x80, 0xBF]) की देखरेख विभिन्न पुस्तकालयों में देखी जा सकती है।

// U+0800 - U+0FFF
\xE0\x80\x80

// U+D000 - U+D7FF
\xED\xBF\xBF

// U+10000 -  U+3FFFF
\xF0\x80\x80\x80

// U+100000 - U+10FFFF
\xF4\xBF\xBF\xBF

Answer 5

फज परीक्षण - ओकटेट का एक यादृच्छिक अनुक्रम उत्पन्न करता है। सबसे अधिक संभावना है कि आपको बाद में की तुलना में जल्द ही कुछ अवैध अनुक्रम मिलेंगे।

Comments

हाइजेनबग्स या आईसेंटेस्ट होने से बुरा कुछ नहीं है। टेस्ट 10 बार पास करते हैं, आप उत्पाद जारी करते हैं, परीक्षण विफल रहता है।

— एरिक डुमिनील

@EricDuminil कभी सुना है श्रंद ()?

— 21:17 पर shoosh

काफी उचित। क्या आप कृपया इसका उत्तर में उल्लेख कर सकते हैं ताकि मैं अपना पतन वापस कर सकूं?

— एरिक डुमिनील

आह आह। खैर, सीखने के लिए हमेशा कुछ नया होता है, इसीलिए मैं SO में पहले स्थान पर आता हूं। मुझे लगता है कि आपकी srand()सलाह एक अच्छा विचार है, इससे यहां अन्य लोगों को मदद मिल सकती है।

— एरिक डुमिनील

हम सीधे अवैध स्ट्रिंग बना सकते हैं, हमें कोशिश करने के लिए यादृच्छिकता की आवश्यकता नहीं है और अंततः उन्हें ढूंढना होगा, हालांकि स्ट्रिंग प्रोसेसिंग लाइब्रेरी (शायद!) बस मामले में फ़ज़िंग से लाभ होगा।

— गलाव