गैर-मुद्रण योग्य वर्णों की खोज करना। TLDR; कार्यकारी सारांश
- नियंत्रण वर्ण और विस्तारित यूनिकोड के लिए खोज
- लोकेल सेटिंग जैसे
LC_ALL=Cgrep बनाने के लिए आवश्यक है कि आप विस्तारित यूनिकोड से क्या उम्मीद कर सकते हैं
एसओ पसंदीदा गैर-असीसी चार खोजक:
$ perl -ne 'print "$. $_" if m/[\x00-\x08\x0E-\x1F\x80-\xFF]/' notes_unicode_emoji_test
शीर्ष उत्तर के रूप में, उलटा grep:
$ grep --color='auto' -P -n "[^\x00-\x7F]" notes_unicode_emoji_test
शीर्ष उत्तर के रूप में लेकिन साथ LC_ALL=C:
$ LC_ALL=C grep --color='auto' -P -n "[\x80-\xFF]" notes_unicode_emoji_test
। । अधिक । । इस पर विस्तृत विवरण:। । ।
मैं टिप्पणियों में दफन ऊपर हार्वे के साथ सहमत हूं , गैर-मुद्रण योग्य पात्रों की खोज करने के लिए अक्सर अधिक उपयोगी होता है या गैर-एएससीआईआई को सोचना आसान होता है जब आपको वास्तव में गैर-मुद्रण योग्य सोचना चाहिए। हार्वे सुझाव देते हैं कि "इसका उपयोग करें:" [^\n -~]। डॉस पाठ फ़ाइलों के लिए \ r जोड़ें। यह " [^\x0A\x020-\x07E]" में अनुवाद करता है और सीआर के लिए \ x0D जोड़ता है।
इसके अलावा, grep में -c (पैटर्न की मिलान की हुई गिनती) तब गैर-प्रिंट करने योग्य वर्णों की खोज करते समय उपयोगी होता है क्योंकि मिलान किए गए तार टर्मिनल को गड़बड़ कर सकते हैं।
मैंने पाया कि रेंज 0-8 और 0x0e-0x1f (0x80-0xff रेंज में) एक उपयोगी पैटर्न है। यह TAB, CR और LF और एक या दो से अधिक असामान्य मुद्रण योग्य वर्णों को शामिल नहीं करता है। तो IMHO एक काफी उपयोगी (यद्यपि क्रूड) grep पैटर्न यह एक है:
grep -c -P -n "[\x00-\x08\x0E-\x1F\x80-\xFF]" *
वास्तव में, आमतौर पर आपको यह करने की आवश्यकता होगी:
LC_ALL=C grep -c -P -n "[\x00-\x08\x0E-\x1F\x80-\xFF]" *
टूट - फूट:
LC_ALL=C - set locale to C, otherwise many extended chars will not match (even though they look like they are encoded > 0x80)
\x00-\x08 - non-printable control chars 0 - 7 decimal
\x0E-\x1F - more non-printable control chars 14 - 31 decimal
\x80-1xFF - non-printable chars > 128 decimal
-c - print count of matching lines instead of lines
-P - perl style regexps
Instead of -c you may prefer to use -n (and optionally -b) or -l
-n, --line-number
-b, --byte-offset
-l, --files-with-matches
उदाहरण के लिए वर्तमान निर्देशिका के तहत सभी फ़ाइलों को संक्षिप्त करने के लिए उपयोग का व्यावहारिक उदाहरण:
LC_ALL=C find . -type f -exec grep -c -P -n "[\x00-\x08\x0E-\x1F\x80-\xFF]" {} +
आप कई बार grep को समायोजित करना चाह सकते हैं। उदाहरण के लिए BS (0x08 - backspace) char का उपयोग कुछ प्रिंट करने योग्य फ़ाइलों में या VT (0x0B - ऊर्ध्वाधर टैब) को बाहर करने के लिए किया जाता है। बीईएल (0x07) और ईएससी (0x1B) चार्ट को भी कुछ मामलों में प्रिंट करने योग्य माना जा सकता है।
Non-Printable ASCII Chars
** marks PRINTABLE but CONTROL chars that is useful to exclude sometimes
Dec Hex Ctrl Char description Dec Hex Ctrl Char description
0 00 ^@ NULL 16 10 ^P DATA LINK ESCAPE (DLE)
1 01 ^A START OF HEADING (SOH) 17 11 ^Q DEVICE CONTROL 1 (DC1)
2 02 ^B START OF TEXT (STX) 18 12 ^R DEVICE CONTROL 2 (DC2)
3 03 ^C END OF TEXT (ETX) 19 13 ^S DEVICE CONTROL 3 (DC3)
4 04 ^D END OF TRANSMISSION (EOT) 20 14 ^T DEVICE CONTROL 4 (DC4)
5 05 ^E END OF QUERY (ENQ) 21 15 ^U NEGATIVE ACKNOWLEDGEMENT (NAK)
6 06 ^F ACKNOWLEDGE (ACK) 22 16 ^V SYNCHRONIZE (SYN)
7 07 ^G BEEP (BEL) 23 17 ^W END OF TRANSMISSION BLOCK (ETB)
8 08 ^H BACKSPACE (BS)** 24 18 ^X CANCEL (CAN)
9 09 ^I HORIZONTAL TAB (HT)** 25 19 ^Y END OF MEDIUM (EM)
10 0A ^J LINE FEED (LF)** 26 1A ^Z SUBSTITUTE (SUB)
11 0B ^K VERTICAL TAB (VT)** 27 1B ^[ ESCAPE (ESC)
12 0C ^L FF (FORM FEED)** 28 1C ^\ FILE SEPARATOR (FS) RIGHT ARROW
13 0D ^M CR (CARRIAGE RETURN)** 29 1D ^] GROUP SEPARATOR (GS) LEFT ARROW
14 0E ^N SO (SHIFT OUT) 30 1E ^^ RECORD SEPARATOR (RS) UP ARROW
15 0F ^O SI (SHIFT IN) 31 1F ^_ UNIT SEPARATOR (US) DOWN ARROW
अद्यतन: मुझे हाल ही में इस पर फिर से विचार करना पड़ा। और, YYMV टर्मिनल सेटिंग्स / सौर मौसम पूर्वानुमान BUT पर निर्भर करता है। । मैंने देखा कि grep को कई यूनिकोड या विस्तारित वर्ण नहीं मिल रहे थे। भले ही सहज रूप से उन्हें 0x80 से 0xff तक की श्रेणी से मेल खाना चाहिए, 3 और 4 बाइट यूनिकोड वर्णों का मिलान नहीं किया गया। ??? क्या कोई इसे समझा सकता है? हाँ। @frabjous ने पूछा और @calandoa ने बताया कि LC_ALL=Cgrep मैच बनाने के लिए कमांड को लोकेल सेट करने के लिए इस्तेमाल किया जाना चाहिए।
जैसे मेरा लोकेल LC_ALL=खाली
$ locale
LANG=en_IE.UTF-8
LC_CTYPE="en_IE.UTF-8"
.
.
LC_ALL=
LC_ALL=खाली मैचों के साथ grep 2 बाइट एन्कोडेड वर्ण नहीं बल्कि 3 और 4 बाइट एन्कोडेड:
$ grep -P -n "[\x00-\x08\x0E-\x1F\x80-\xFF]" notes_unicode_emoji_test
5:© copyright c2a9
7:call underscore c2a0
9:CTRL
31:5 © copyright
32:7 call underscore
grep LC_ALL=Cउन सभी विस्तारित वर्णों से मेल खाता है जो आप चाहते हैं:
$ LC_ALL=C grep --color='auto' -P -n "[\x80-\xFF]" notes_unicode_emoji_test
1:���� unicode dashes e28090
3:��� Heart With Arrow Emoji - Emojipedia == UTF8? f09f9298
5:� copyright c2a9
7:call� underscore c2a0
11:LIVE��E! ���������� ���� ���������� ���� �� �� ���� ���� YEOW, mix of japanese and chars from other e38182 e38184 . . e0a487
29:1 ���� unicode dashes
30:3 ��� Heart With Arrow Emoji - Emojipedia == UTF8 e28090
31:5 � copyright
32:7 call� underscore
33:11 LIVE��E! ���������� ���� ���������� ���� �� �� ���� ���� YEOW, mix of japanese and chars from other
34:52 LIVE��E! ���������� ���� ���������� ���� �� �� ���� ���� YEOW, mix of japanese and chars from other
81:LIVE��E! ���������� ���� ���������� ���� �� �� ���� ���� YEOW, mix of japanese and chars from other
यह पर्ल मैच (आंशिक रूप से स्टैकओवरफ्लो पर कहीं और पाया गया) या शीर्ष उत्तर पर उलटा grep लगता है कि सभी ~ अजीब ~ और ~ अद्भुत ~ "नॉन-अस्की" अक्षरों को लोकेल की स्थापना के बिना ढूंढते हैं:
$ grep --color='auto' -P -n "[^\x00-\x7F]" notes_unicode_emoji_test
$ perl -ne 'print "$. $_" if m/[\x00-\x08\x0E-\x1F\x80-\xFF]/' notes_unicode_emoji_test
1 ‐‐ unicode dashes e28090
3 💘 Heart With Arrow Emoji - Emojipedia == UTF8? f09f9298
5 © copyright c2a9
7 call underscore c2a0
9 CTRL-H CHARS URK URK URK
11 LIVE‐E! あいうえお かが アイウエオ カガ ᚊ ᚋ ซฌ आइ YEOW, mix of japanese and chars from other e38182 e38184 . . e0a487
29 1 ‐‐ unicode dashes
30 3 💘 Heart With Arrow Emoji - Emojipedia == UTF8 e28090
31 5 © copyright
32 7 call underscore
33 11 LIVE‐E! あいうえお かが アイウエオ カガ ᚊ ᚋ ซฌ आइ YEOW, mix of japanese and chars from other
34 52 LIVE‐E! あいうえお かが アイウエオ カガ ᚊ ᚋ ซฌ आइ YEOW, mix of japanese and chars from other
73 LIVE‐E! あいうえお かが アイウエオ カガ ᚊ ᚋ ซฌ आइ YEOW, mix of japanese and chars from other
एसओ पसंदीदा गैर-असीसी चार खोजक:
$ perl -ne 'print "$. $_" if m/[\x00-\x08\x0E-\x1F\x80-\xFF]/' notes_unicode_emoji_test
शीर्ष उत्तर के रूप में, उलटा grep:
$ grep --color='auto' -P -n "[^\x00-\x7F]" notes_unicode_emoji_test
शीर्ष उत्तर के रूप में लेकिन साथ LC_ALL=C:
$ LC_ALL=C grep --color='auto' -P -n "[\x80-\xFF]" notes_unicode_emoji_test