hive查詢資料匯出到本地目錄或hdfs的方法

2021-08-20 00:10:21 字數 1042 閱讀 3919

一、匯出到本地檔案系統

hive> insert overwrite local directory '/home/mydir/mydir'

> select * from test;

二、匯出到hdfs中

hive> insert overwrite directory '/home/mydir/mydir'

> select * from test;

這樣匯出的檔案預設是以^a(\x01)符號做分割的

例如[sql]view plain

copy

15天到的快遞嗎^a2^a2016-11-16 12:44:00  

歐洲地圖高畫質中文版^a1^a2016-11-16 12:03:57  

利澳娛樂線上賭博^a2^a2016-11-15 00:00:00  

有多大的思想 才有多大的能量^a10^a2016-11-14 00:00:00  

考古養龍^a10^a2016-11-13 00:00:00  

求簽定^a2^a2016-11-16 12:43:00  

可真的^a2^a2016-11-16 12:44:00  

論壇^a1^a2016-11-15 16:56:04  

啦啦啊啊了^a2^a2016-11-16 12:45:00  

中國律師定位再認識^a1^a12015-11-19 17:32:00  

注意,上面是為了顯示方便,而將\x01寫作^a,在實際的文字編輯器我們是看不到^a的

可以使用自定義分隔符語句row format delimited fields terminated by '\t'

例如

hive> insert overwrite directory '/home/mydir/mydir' row format delimited fields terminated by '\t'

> select * from test;

但是自定義的分隔符 在hive 1.2.0版本之前會出現問題,這個bug 在1.2.0版本修復了

HIVE中的資料怎麼匯出到hdfs或本地呢

在我不知道工具 也不熟悉hiql語法的情況下,沒辦法了,只有選擇乙個最簡單粗暴的方法,重定向。在shell中使用 hive e 可以在shell中執行hive命令,hive f可以執行檔案之中的sql語句,需要什麼資料,就把它查詢出來,最後重定向到指定目錄之下。在hive中使用insert over...

如何將Hive倉庫中的查詢結果匯出到本地檔案

我在hive倉庫中有個表,已經使用hql跑出來結果,存到了hive中。表的schema如下 show create table test xiaoxiannv.dw clickadvert daily create external table test xiaoxiannv.dw clickadv...

sqoop將hive資料匯出到關係型資料庫

以下資訊,只要根據自己的資料庫的相應資訊修改以下,即可,sqoop其實就是很簡單的,一般hive資料儲存為列式儲存,所以要提前把要寫到關係型資料庫的資料寫到乙個text字尾的表裡,然後才能匯出到關係型資料庫中。還要特別注意寫到關係型資料庫中資料的格式要一一對應 pg庫相關資訊 database co...