Hive工作模式

2021-08-14 23:41:41 字數 1518 閱讀 7283

hive非互動模式

1、可以將hive執行的sql語句儲存到指令碼檔案中,通過-f選項指定指令碼檔案執行hive

eg:hive -f script.sql

2、對於較短的sql語句,可以直接使用-e選項執行hive

eg:hive -e 'select * from table a'

3、-s選項

hive執行過程中,會在終端上顯示mapreduce的進度。如果不想顯示進度,可以使用-s選項。

這個靜音模式很實用,,通過第三方程式呼叫,第三方程式通過hive的標準輸出獲取結果集。

eg:$hive_home/bin/hive -s -e 'select a.col from tab1 a' > tab1.csv

hive互動模式

當$hive_home/bin/hive執行時,沒有-e或者-f選項,會進入互動式shell模式。

命令描述

quit 

退出互動式shell

exit 

退出互動式shell

reset 

重置配置為預設值

set =

修改特定變數的值

注意:如果變數名拼寫錯誤,不會報錯

set 

輸出使用者覆蓋的hive配置變數

set -v輸出所有hadoop和hive的配置變數

add file[s] * 

新增 乙個或多個 file, jar, archives到分布式快取

add jar[s] * 

新增 乙個或多個 file, jar, archives到分布式快取

add archive[s] * 

新增 乙個或多個 file, jar, archives到分布式快取

list file[s]輸出已經新增到分布式快取的資源

list jar[s]輸出已經新增到分布式快取的資源

list archive[s]輸出已經新增到分布式快取的資源

list file[s] * 

檢查給定的資源是否新增到分布式快取

list jar[s] * 

檢查給定的資源是否新增到分布式快取

list archive[s] * 

檢查給定的資源是否新增到分布式快取

delete file[s] * 

從分布式快取刪除指定的資源

delete jar[s] * 

從分布式快取刪除指定的資源

delete archive[s] * 

從分布式快取刪除指定的資源

! 從hive shell執行乙個shell命令

dfs 從hive shell執行乙個dfs命令

執行乙個hive 查詢,然後輸出結果到標準輸出

source file 在cli裡執行乙個hive指令碼檔案

Hive 工作機制

hive 是乙個基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為乙個表,並提供sql查詢功能,可將sql語句轉換為mapreduce任務進行。優點 學習成本低 可以通過類sql語句快速實現mapreduce統計。將清洗過的資料放入到hdfs中,就可以進行各種統計了 hive執行時,元...

Hive工作原理

使用者提交查詢等任務給driver。編譯器獲得該使用者的任務plan。編譯器compiler根據使用者任務去metastore中獲取需要的hive的元資料資訊。編譯器compiler得到元資料資訊,對任務進行編譯,先將hiveql轉換為抽象語法樹,然後將抽象語法樹轉換成查詢塊,將查詢塊轉化為邏輯的查...

Hive工作原理

hdfs中儲存的是資料 hive只裝在一台機器上,hive只是乙個工具乙個客戶端,而且他的資料時儲存在hdfs中的,只要hive能讀取hdfs的資料,能和msql進行互動底層就能轉換成mr程式,mr程式交給yarn之後就進行分布式執行了 hive來處理hdfs中儲存的結構化的靜態化資料,這個資料可以...