hive 資料操作

日常工作中，經常涉及到將本地檔案寫入hive表，已供查詢計算，或將hive表的資料匯出為本地檔案。

1、第一步：建立hive 表

create table if

not exists user.table_user(
user_id int
,act_time string
) partitioned by(pt_dt string) row format delimited fields terminated by ',' lines terminated by '\n' stored as textfile;

可以通過filezilla 來傳輸檔案

3、建立hdfs目錄

hadoop fs -mkdir /user/liming/table

hadoop fs -put -f /

data
/yewu/new_table.csv /user/liming/table

hive -e "load data inpath '/user/liming/table/new_table.csv' overwrite into table user.table_user partition(pt_dt='2019-12-11')"

hadoop fs -get /hive/warehouse/user.db/table_user/000000_0 /

data
/yewu/

hive資料操作

select from employees 在這種情況下可以簡單的讀取employees對應的儲存目錄下的檔案，然後輸出到格式化後的內容到控制台 對於where語句中的過濾條件只是分割槽字段這種情況 無論是否使用limit語句限制輸出記錄數 也無需mapreduce過程的 select from e...

hive資料操作

vi tb hive.txt 12 34 56 7 12 13 41 2 31 17 21 3 71 2 31 1 12 34 11 2 34 root namenode 82 hive w hive shell 建表結構 hive create table tb hive a int,b int,...

Hive之 資料操作

基本語法 select all distinct select expr,select expr,from tablename where where condition 1 hive命令列執行select from lyz 2 linux命令列執行hive e select from lyz hi...