如何將hive的資料表匯出到csv格式的檔案中

2021-09-11 05:39:24 字數 636 閱讀 9581

由於在hive hue web頁面上無法全部展示比較大的資料,並且就算匯出到excel中也會對伺服器產生特別大的壓力。所以就需要將hive資料表的資料匯出以csv形式的儲存!

hive -e 「select * from dhtest.temp_uv」 >> res1.csv

將需要的查詢資料匯出到 res1.csv

[hdfs@datanode11 wangchong]$ hive -e 「select * from dhtest.temp_uv」 >> res1.csv

從hdfs上匯出到本地,然後通過xftp等軟體將res1.csv儲存到本地。

然後用excel開啟會發現全部出現在一列。這是由於沒有進行分列導致的!

分列有兩種方法!。

1.在shell中將csv檔案進行分列符號替換,達到替換的目的。

[hdfs@datanode11 wangchong]$ sed -i 『s/,/;/g』 res2.csv

[hdfs@datanode11 wangchong]$ sed -i 『s/\t/;/g』 res2.csv

具體那種符號視情況而定

2.直接在本地開啟excel文件中進行設定。

資料–>分列–>

下一步其他打鉤,然後下一步,完成即可達到分列的目的

如何將資料熱匯出到檔案

隨著時間推移,資料庫中資料量會越來越大,如果把查詢分析都掛到資料庫上,有可能會影響到生產系統的正常執行。所以,一般都會將生產資料庫中不再變動的資料定期移出到另乙個分析資料庫中,由分析資料庫來承擔查詢分析的壓力。不過,我們知道,檔案系統比資料庫有更好的io效能,對於不再變動的歷史資料,使用檔案還可以採...

如何將大資料表匯入匯出mysql

網上說100m以上的表就已經是大資料了。我的表是千萬級別,資料表檔案有6g。如果使用嚮導匯出,匯出是可以的,但是匯入就極為困難了,最後mac使用了40g的儲存空間來快取那個檔案,還是沒有成功。後面使用了命令列的方式,就顯得非常簡單了 開啟命令列,進入到匯出檔案待儲存的目錄 mysqldump uro...

如何將Excel資料匯出到Oracle資料庫

以下的文章主要是介紹如何用sql loader將excel相關的資料匯出到oracle資料庫,其主要的目的是實現往oracle資料庫裡插入excel相關檔案中的實際應用資料,以下就是文章的具體內容的介紹。實現步驟 1 開啟microsoft excel 2000 2 檔案 f 新建 n 工作簿 3 ...