匯出hive表資料的5種方法

2021-09-05 11:56:57 字數 789 閱讀 6999

下面介紹一下hive 匯出的幾種方式

本地檔案直接匯出

insert overwrite local directory '/data/hive/export/student_info' select * from default.student
修改分隔符和換行符

insert overwrite local directory '/data/hive/export/student_info' 

row format delimited fields terminated by '\t' collection items terminated by '\n'

select * from default.student

shell 指令碼匯出

bin/hive -e "select * from default.student_info ;" > /data/hive/export/local/student_info
匯出資料到檔案系統

insert overwrite directory '/data/hive/export/student_info' select * from default.student
export 方法

export table student_info partition (country="china") to "/data/hive/export/"

加快 hive 查詢的 5 種方法

1.使用 tez set hive.execution.engine tez 2.使用 orcfile。當有多個表 join 時,使用 orcfile 進行儲存,會顯著地提高速度。create table a orc customerid int,name string,age int,addres...

Hive表資料匯出

方式一 hadoop命令匯出 hadoop fs get hdfs hadoop000 8020 data page views2 pv2 方式二 通過insert.directory匯出 spark暫不支援 匯出到本地 insert overwrite local directory home s...

Pandas查詢資料的5種方法

按數值,列表,函式,區間,條件的查詢方法 1.df.loc 根據行列的標籤值進行查詢 2.df.iloc 根據行列的位置進行查詢 3.df.where 4.df.query 用單個lable值查詢資料 使用值列表批量查詢 使用資料區間進行範圍查詢 import pandas as pd df pd....