從文字檔案匯入資料到hive表中

2021-07-04 05:12:01 字數 930 閱讀 9732

從文字檔案匯入資料到hive表中

1.資料儲存為csv格式,不能帶標題行,以逗號分隔,用tr命令將逗號替換成hive預設的\001分隔

tr ',' '\001' < /home/zengsiwei362/zhoulixin54520150730.csv > /home/zengsiwei362/zhoulixin54520150730.txt

2.建一張與目標表一樣的臨時表,可以是分割槽表也可以不是分割槽表,匯入的語句不同而已,但是檔案格式一定是textfile

3.匯入資料到tmp表,再從tmp表載入到正式表,檔案可以放在本地,也可以放到hdfs,本地:load data local inpath ...  hdfs:去掉local

另外」overwrite into 「和」into「的區別沒驗證過

hive -e " use pad_hdp;

load data local inpath '/home/zengsiwei362/zhoulixin54520150730.txt' overwrite into table pad_hdp.dwy2_cust_vehicle_import_tmp ;

--load data local inpath '/home/zengsiwei362/zhoulixin54520150730.txt' overwrite into table pad_hdp.dwy2_cust_vehicle_import_tmp partition(op_day='20150707');

set mapred.job.queue.name=queue02;

insert overwrite table pad_hdp.dwy2_cust_vehicle   partition  (op_day = '20150707')

select *

from pad_hdp.dwy2_cust_vehicle_import_tmp ;"

從文字檔案匯入資料到資料庫表

最近一直在使用常用資料庫的資料匯入,這裡把已經用到的匯入命令先簡要列舉一下 不介紹每乙個option的具體意義,如果你用到了,請直接msdn檢視具體option的意義,此處不再贅述!bulk insert erp users from d rows 1m.txt with datafiletype ...

txrt文字檔案匯入資料到mysql

load data low priority concurrent local infile file name replace ignore into tabletbl name character setcharset name terminated by string optionally e...

Mysql匯出表資料到文字檔案

這裡的匯出和mysqldump不同,只是匯出表裡的純資料,而不是匯出為sql語句。1.select 列1,列2,列n from tbname where 條件 into outfile c backup data.txt 匯出的資料是每列用tab 分開的具體資料,就好像乙個矩陣一樣。2.load d...