हम CSV फ़ाइल में हाइव क्वेरी के परिणाम डालना चाहते हैं। मुझे लगा कि कमांड को इस तरह दिखना चाहिए:
insert overwrite directory '/home/output.csv' select books from table;
जब मैं इसे चलाता हूं, तो यह कहती है कि यह सफलतापूर्वक पूरा हो गया है लेकिन मैं कभी फ़ाइल नहीं ढूंढ सकता। मुझे यह फ़ाइल कैसे मिलनी चाहिए या क्या मुझे डेटा को अलग तरीके से निकालना चाहिए?
जवाबों:
यद्यपि INSERT OVERWRITEहाइव से डेटा प्राप्त करने के लिए इसका उपयोग करना संभव है , यह आपके विशेष मामले के लिए सबसे अच्छा तरीका नहीं हो सकता है। पहले मुझे समझाते हैं कि क्या INSERT OVERWRITEकरता है, फिर मैं हाइव तालिकाओं से tsv फ़ाइलों को प्राप्त करने के लिए उपयोग की जाने वाली विधि का वर्णन करूँगा।
मैनुअल के अनुसार , आपकी क्वेरी HDFS में एक निर्देशिका में डेटा संग्रहीत करेगी। प्रारूप csv नहीं होगा।
फाइलसिस्टम के लिए लिखे गए डेटा को ^ ए द्वारा अलग किए गए स्तंभों के साथ पाठ के रूप में क्रमबद्ध किया जाता है और न्यूलाइन्स द्वारा अलग की गई पंक्तियाँ। यदि कोई भी स्तंभ आदिम प्रकार के नहीं हैं, तो उन स्तंभों को JSON प्रारूप में क्रमबद्ध किया जाता है।
एक मामूली संशोधन ( LOCALकीवर्ड को जोड़ना ) डेटा को स्थानीय निर्देशिका में संग्रहीत करेगा।
INSERT OVERWRITE LOCAL DIRECTORY '/home/lvermeer/temp' select books from table;
जब मैं एक समान क्वेरी चलाता हूं, तो यहां आउटपुट कैसा दिखता है।
[lvermeer@hadoop temp]$ ll
total 4
-rwxr-xr-x 1 lvermeer users 811 Aug 9 09:21 000000_0
[lvermeer@hadoop temp]$ head 000000_0
"row1""col1"1234"col3"1234FALSE
"row2""col1"5678"col3"5678TRUE
निजी तौर पर, मैं आमतौर पर इस तरह की चीज़ के लिए कमांड लाइन पर हाइव के माध्यम से सीधे अपनी क्वेरी चलाता हूं, और इसे स्थानीय फ़ाइल में पाइप करता हूं जैसे:
hive -e 'select books from table' > /home/lvermeer/temp.tsv
वह मुझे एक टैब-अलग फ़ाइल देता है जिसका मैं उपयोग कर सकता हूं। आशा है कि आप के लिए भी उपयोगी है।
इस पैच -3682 के आधार पर , मुझे संदेह है कि हाइव 0.11 का उपयोग करते समय एक बेहतर समाधान उपलब्ध है, लेकिन मैं स्वयं इसका परीक्षण करने में असमर्थ हूं। नए सिंटैक्स को निम्नलिखित की अनुमति देनी चाहिए।
INSERT OVERWRITE LOCAL DIRECTORY '/home/lvermeer/temp'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
select books from table;
उम्मीद है की वो मदद करदे।
यदि आप एक CSV फ़ाइल चाहते हैं तो आप लुकास के समाधानों को इस प्रकार संशोधित कर सकते हैं (यह मानते हुए कि आप एक लिनक्स बॉक्स पर हैं):
hive -e 'select books from table' | sed 's/[[:space:]]\+/,/g' > /home/lvermeer/temp.csv
क्वेरी के परिणामों वाली फ़ाइलों के साथ HDFS में निर्देशिका बनाने के लिए आपको CREATE TABLE AS SELECT (CTAS) स्टेटमेंट का उपयोग करना चाहिए। उसके बाद आपको उन फ़ाइलों को एचडीएफएस से अपनी नियमित डिस्क पर निर्यात करना होगा और उन्हें एक ही फाइल में मर्ज करना होगा।
आपको CSV में सीमांकित फ़ाइल को '\ 001' से परिवर्तित करने के लिए कुछ चालबाजी भी करनी पड़ सकती है। आप एक कस्टम CSV सर्ड का उपयोग कर सकते हैं या निकाले गए फ़ाइल को पोस्टप्रोसेस कर सकते हैं।
आप उपयोग कर सकते हैं INSERT... DIRECTORY..., इस उदाहरण में है:
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/ca_employees'
SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';
OVERWRITEऔर LOCALपहले की तरह ही व्याख्याएं हैं और सामान्य नियमों का पालन करते हुए पथों की व्याख्या की जाती है। एक या एक से अधिक फाइलें लिखी जाएंगी /tmp/ca_employees, यह निरूपित किए गए रिड्यूसर की संख्या पर निर्भर करता है।
मैं इसी तरह के समाधान की तलाश कर रहा था, लेकिन यहां उल्लिखित काम नहीं करेंगे। मेरे डेटा में व्हाट्सएप (स्पेस, न्यूलाइन, टैब) वर्ण और कॉमा के सभी रूपांतर थे।
स्तंभ डेटा tsv को सुरक्षित बनाने के लिए, मैंने स्तंभ डेटा में सभी \ t वर्णों को एक स्थान के साथ बदल दिया, और एक csv फ़ाइल बनाने के लिए कमांडलाइन पर अजगर कोड निष्पादित किया, जैसा कि नीचे दिखाया गया है:
hive -e 'tab_replaced_hql_query' | python -c 'exec("import sys;import csv;reader = csv.reader(sys.stdin, dialect=csv.excel_tab);writer = csv.writer(sys.stdout, dialect=csv.excel)\nfor row in reader: writer.writerow(row)")'
इसने पूरी तरह से वैध सीएसवी बनाया। आशा है कि यह उन लोगों की मदद करता है जो इस समाधान की तलाश में आते हैं।
आप हाइव स्ट्रिंग फ़ंक्शन का उपयोग कर सकते हैं CONCAT_WS( string delimiter, string str1, string str2...strn )
पूर्व के लिए:
hive -e 'select CONCAT_WS(',',cola,colb,colc...,coln) from Mytable' > /home/user/Mycsv.csv
यह सबसे ज्यादा सीएसवी फ्रेंडली तरीका है जो मैंने HiveQL के परिणामों का उत्पादन करने के लिए पाया।
आपको डेटा को प्रारूपित करने के लिए किसी grep या sed कमांड की आवश्यकता नहीं है, इसके बजाय हाइव इसका समर्थन करता है, बस outputformat के अतिरिक्त टैग को जोड़ने की आवश्यकता है।
hive --outputformat=csv2 -e 'select * from <table_name> limit 20' > /path/toStore/data/results.csv
मेरे पास एक समान मुद्दा था और इस तरह मैं इसे संबोधित करने में सक्षम था।
चरण 1 - हाइव तालिका से डेटा को एक अन्य तालिका में निम्नानुसार लोड किया
DROP TABLE IF EXISTS TestHiveTableCSV;
CREATE TABLE TestHiveTableCSV
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n' AS
SELECT Column List FROM TestHiveTable;
चरण 2 - हाइव गोदाम से उचित स्थान के साथ नए स्थान पर बूँद को कॉपी किया
Start-AzureStorageBlobCopy
-DestContext $destContext
-SrcContainer "Source Container"
-SrcBlob "hive/warehouse/TestHiveTableCSV/000000_0"
-DestContainer "Destination Container"
-DestBlob "CSV/TestHiveTable.csv"
hive --outputformat=csv2 -e "select * from yourtable" > my_file.csv
या
hive --outputformat=csv2 -e "select * from yourtable" > [your_path]/file_name.csv
Tsv के लिए, बस उपरोक्त प्रश्नों में csv को tsv में बदलें और अपने प्रश्नों को चलाएं
यदि आप इसे विंडोज से कर रहे हैं, तो आप स्थानीय CSV फ़ाइल में तालिका डेटा निकालने के लिए पायथन स्क्रिप्ट हाइवेनी का उपयोग कर सकते हैं ।
यह:
इसे इस तरह निष्पादित करें:
set PROXY_HOST=your_bastion_host
set SERVICE_USER=you_func_user
set LINUX_USER=your_SOID
set LINUX_PWD=your_pwd
python hh.py --query_file=query.sql
क्वेरी को बंद करने के बाद बस और निम्नलिखित चरणों को कवर करने के लिए:
INSERT OVERWRITE LOCAL DIRECTORY '/home/lvermeer/temp'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
select books from table;
मेरे मामले में, अस्थायी फ़ोल्डर के तहत उत्पन्न डेटा deflateप्रारूप में है, और यह इस तरह दिखता है:
$ ls
000000_0.deflate
000001_0.deflate
000002_0.deflate
000003_0.deflate
000004_0.deflate
000005_0.deflate
000006_0.deflate
000007_0.deflate
यहां डिफ्लेट फाइलों को अनजिप करने और सब कुछ एक सीएसवी फाइल में डालने की आज्ञा है:
hadoop fs -text "file:///home/lvermeer/temp/*" > /home/lvermeer/result.csv
मुझे इसमें देरी हो सकती है, लेकिन जवाब देने में मदद करेगा:
echo "COL_NAME1 | COL_NAME2 | COL_NAME3 | COL_NAME4"> SAMPLE_Data.csv hive -e 'अलग कॉन्कैट (COL_1, ",", COL_2, "," | COL_3, ";", COL_4) का चयन करें। >> SAMPLE_Data.csv
यह शेल कमांड output.txtकॉलम में बिना हेडर के आउटपुट फॉर्मेट को प्रिंट करता है ।
$ hive --outputformat=csv2 -f 'hivedatascript.hql' --hiveconf hive.cli.print.header=false > output.txt
कमांड का उपयोग करें:
hive -e "का उपयोग करें [database_name]; * से चुनें [table_name] सीमा 10;" > /पथ / //ile/my_file_name.csv
मेरे पास एक विशाल डेटासेट था जिसका विवरण मैं हमलों के प्रकार और प्रत्येक प्रकार की संख्या को व्यवस्थित और निर्धारित करने की कोशिश कर रहा था। एक उदाहरण जो मैंने अपने अभ्यास पर इस्तेमाल किया था, जिसमें काम किया (और थोड़ा अधिक विवरण था) कुछ इस तरह से होता है:
hive -e "use DataAnalysis;
select attack_cat,
case when attack_cat == 'Backdoor' then 'Backdoors'
when length(attack_cat) == 0 then 'Normal'
when attack_cat == 'Backdoors' then 'Backdoors'
when attack_cat == 'Fuzzers' then 'Fuzzers'
when attack_cat == 'Generic' then 'Generic'
when attack_cat == 'Reconnaissance' then 'Reconnaissance'
when attack_cat == 'Shellcode' then 'Shellcode'
when attack_cat == 'Worms' then 'Worms'
when attack_cat == 'Analysis' then 'Analysis'
when attack_cat == 'DoS' then 'DoS'
when attack_cat == 'Exploits' then 'Exploits'
when trim(attack_cat) == 'Fuzzers' then 'Fuzzers'
when trim(attack_cat) == 'Shellcode' then 'Shellcode'
when trim(attack_cat) == 'Reconnaissance' then 'Reconnaissance' end,
count(*) from actualattacks group by attack_cat;">/root/data/output/results2.csv