10Gb सीएसवी फ़ाइल (100+ मिलियन लाइनें) [बंद] को प्रबंधित / रूपांतरित करने के लिए किस सॉफ़्टवेयर का उपयोग करना है [बंद]

Question

इसलिए मेरे पास यह uv सीएसवी फाइल 100 मिलियन से अधिक रिकॉर्ड के साथ है और मैं इस पर काम करना चाहता हूं। मैं सिर्फ इसे संपादित नहीं करना चाहता ।

मुझे कुछ प्रकार के एक्सेल / बेसिक डेटाबेस ट्रांसफ़ॉर्मेशन का उपयोग करना है (समूह द्वारा, कुछ कैक्टक्टर्स को निकालने के लिए, संयुक्त जानकारी के आधार पर एक नया कॉलम जोड़ने के लिए, आदि)।

इसे करने का बेहतरीन तरीका क्या है ? डेटाबेस में आयात करें? (जैसे कि ओरेकल, काफी यकीन है कि एक्सेस इतनी बड़ी फ़ाइल का प्रबंधन नहीं कर सकता है) क्या अन्य उपकरण उपयोगी हैं? काम के दौरान मेरे पास Amadea ( http://www.isoft.fr/html/prod_amadea_en.htm ) नाम का एक सॉफ्टवेयर हुआ करता था, जो इस तरह से कुछ डेटा ट्रांसफ़ॉर्मेशन करता था। किसी भी अन्य (नि: शुल्क) उपकरण का पता नहीं है जो इसी तरह करता है।

धन्यवाद!

Comments

आप TALEND - शक्तिशाली ओपनसोर्स ETL पर एक नज़र डाल सकते हैं। talend.com

— FreudianSlip

क्या आपने फ़ाइल को कई फ़ाइलों में विभाजित करने पर विचार किया है? यहां तक ​​कि अगर आप MSSQL या MySQL जैसे पूर्ण डेटाबेस समाधान में आयात करने के लिए थे, तो आपको डेटा को कई फ़ाइलों में विभाजित करने की आवश्यकता होगी। यहां तक ​​कि एक पूर्ण डेटाबेस समाधान में 10GB डेटा पार्स करने की कोशिश करने में परेशानी हो रही है। superuser.com/questions/98583/break-up-a-large-csv-file?rq=1

— रामहुंड

बंटवारा एक अच्छा विचार नहीं है क्योंकि मुझे पता होगा कि केवल गणना के बाद कैसे विभाजित किया जाता है

— चौमरीन

मैं टैलेंड के लिए जा रहा हूं, ऐसा लगता है कि मैं क्या देख रहा हूं हालांकि, सीखने की अवस्था थोड़ी

— कठिन

Answer 1

निश्चित रूप से एक डेटाबेस का उपयोग करें। बहुत सारे मुफ्त हैं, जैसे कि MySQL, या यदि आप बस एक कंप्यूटर को उस पर काम करना चाहते हैं तो Sqlite बहुत अच्छा है।

जांचें कि आपके आयात ने पहले ठीक से काम किया है, खासकर अगर इनपुट डेटा सेट में गैर-एससीआईआई या बड़ी संख्या है।