CSV रीडर (पायथन) में "रेखा में NULL बाइट शामिल है"

Question 1

मैं एक प्रोग्राम लिखने की कोशिश कर रहा हूं जो एक .CSV फ़ाइल (input.csv) को देखता है और केवल उन पंक्तियों को फिर से लिखता है जो एक निश्चित तत्व (corrected.csv) से शुरू होती हैं, जैसा कि एक पाठ फ़ाइल (output.txt) में सूचीबद्ध है।

यह मेरा कार्यक्रम अभी जैसा दिखता है:

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

दुर्भाग्य से, मुझे यह त्रुटि मिलती रहती है, और मुझे इसके बारे में कोई सुराग नहीं है।

Traceback (most recent call last):
  File "C:\Python32\Sample Program\csvParser.py", line 12, in <module>
    for row in reader:
_csv.Error: line contains NULL byte

यहां तक कि सभी लोगों को श्रेय मुझे इस मुकाम तक पहुंचाने का।

Question 2

मैंने एक आसान समाधान के साथ एक समान समस्या हल की है:

import codecs
csvReader = csv.reader(codecs.open('file.csv', 'rU', 'utf-16'))

कुंजी UTF-16 एन्कोडिंग के साथ फ़ाइल को खोलने के लिए कोडेक्स मॉड्यूल का उपयोग कर रही थी, बहुत सारे एन्कोडिंग हैं, प्रलेखन की जांच करें ।

Question 3

मुझे लगता है कि आप एक NUL बाइट input.csv में है। आप इसके साथ परीक्षण कर सकते हैं

if '\0' in open('input.csv').read():
    print "you have null bytes in your input file"
else:
    print "you don't"

यदि तुम करो,

reader = csv.reader(x.replace('\0', '') for x in mycsv)

आप उस के आसपास मिल सकता है। या यह इंगित कर सकता है कि आपके पास .csv फ़ाइल में utf16 या कुछ 'दिलचस्प' है।

Question 4

यदि आप कुछ ऐसा करने के साथ नल को बदलना चाहते हैं:

def fix_nulls(s):
    for line in s:
        yield line.replace('\0', ' ')

r = csv.reader(fix_nulls(open(...)))

Question 5

यदि आप दिखावा करना चाहते हैं तो आप एक जनरेटर को शून्य मानों को फ़िल्टर करने के लिए इनलाइन कर सकते हैं। बेशक यह मान रहा है कि अशक्त बाइट्स वास्तव में एन्कोडिंग का हिस्सा नहीं हैं और वास्तव में किसी प्रकार की गलत कलाकृतियों या बग हैं।

(line.replace('\0','') for line in f)नीचे देखें , यह भी कि आप संभवतः मोड का उपयोग करके उस फ़ाइल को खोलना चाहते हैं rb।

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'rb') as mycsv:
        reader = csv.reader( (line.replace('\0','') for line in mycsv) )
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

Question 6

यह आपको बताएगा कि समस्या क्या है।

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        try:
            for i, row in enumerate(reader):
                if row[0] not in lines:
                   writer.writerow(row)
        except csv.Error:
            print('csv choked on line %s' % (i+1))
            raise

शायद दानीवेब से यह मददगार होगा:

CSV फ़ाइल से पढ़ते समय मुझे यह त्रुटि आ रही है: "रनटाइम त्रुटि! लाइन में NULL बाइट शामिल है"। इस त्रुटि के मूल कारण के बारे में कोई विचार?

...

ठीक है, मैं समझ गया और सोचा था कि मैं समाधान पोस्ट करूंगा। बस अभी तक मुझे दु: ख हुआ ... प्रयुक्त फ़ाइल को .csv के बजाय .xls प्रारूप में सहेजा गया था, इसलिए इसे नहीं पकड़ा क्योंकि फ़ाइल नाम में .csv एक्सटेंशन था, जबकि प्रकार .xls अभी भी था।

Question 7

एक मुश्किल तरीका:

यदि आप Lunux के तहत विकसित होते हैं, तो आप sed की सभी शक्ति का उपयोग कर सकते हैं :

from subprocess import check_call, CalledProcessError

PATH_TO_FILE = '/home/user/some/path/to/file.csv'

try:
    check_call("sed -i -e 's|\\x0||g' {}".format(PATH_TO_FILE), shell=True)
except CalledProcessError as err:
    print(err)

विशाल फ़ाइलों के लिए सबसे कुशल समाधान।

पायथन 3, कुबंटू के लिए जाँच की गई

Question 8

मैंने हाल ही में इस समस्या को ठीक किया है और मेरे उदाहरण में यह एक फ़ाइल थी जिसे संपीड़ित किया गया था जिसे मैं पढ़ने की कोशिश कर रहा था। सबसे पहले फाइल फॉर्मेट को चेक करें। फिर जांचें कि सामग्री वह है जिसे एक्सटेंशन संदर्भित करता है।

Question 9

मेरे Linux वातावरण को एक पूर्ण पूर्ण UTF-8 वातावरण में बदलकर मेरे लिए चाल बना दी। अपनी कमांड लाइन में निम्नलिखित को आज़माएं:

export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8
export LANGUAGE=en_US.UTF-8

Question 10

यह लंबे समय से तय है, लेकिन मैं इस जवाब में भाग गया, क्योंकि मुझे केरस और टेन्सरफ्लो में प्रशिक्षण डेटा के रूप में संसाधित करने के लिए एक सीएसवी पढ़ने के दौरान एक अप्रत्याशित त्रुटि का सामना करना पड़ रहा था।

मेरे मामले में, मुद्दा बहुत सरल था, और इसके प्रति सचेत रहने के लायक है। CSV में उत्पादित किया जा रहा डेटा सुसंगत नहीं था, जिसके परिणामस्वरूप कुछ कॉलम पूरी तरह से गायब हैं, जो अंत में इस त्रुटि को भी फेंक रहा है।

सबक: यदि आप इस त्रुटि को देख रहे हैं, तो सत्यापित करें कि आपका डेटा उस तरह दिखता है जैसा आपको लगता है कि यह करता है!

Question 11

pandas.read_csv अब पढ़ने / लिखने के दौरान अलग-अलग UTF एन्कोडिंग को संभालता है और इसलिए सीधे नल बाइट्स से निपट सकता है

data = pd.read_csv(file, encoding='utf-16')

देख https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html