hive本地模式

2021-08-27 22:41:23 字數 534 閱讀 7346

看hive資料會看到hive本地模式這個介紹, 下面是查詢網上資料後的一些整理:

大多數的hadoop job是需要hadoop集群來處理大資料的,

不過,有時hive的輸入資料量是非常小的。在這種情況下,為查詢執行任務的時間消耗可能會比實際job的執行時間要多的多,因此hive0.7版本後hive開始支援任務執行選擇本地模式(local mode),即任務提交到本地機器處理,資料不從集群中獲取。

使用本地模式需要滿足的條件:

配置如下引數,可以開啟hive的本地模式:

hive> set hive.exec.mode.local.auto=true;(預設為false)

當乙個job滿足如下條件才能真正使用本地模式:

1.job的輸入資料大小必須小於引數:hive.exec.mode.local.auto.inputbytes.max(預設128mb)

2.job的map數必須小於引數:hive.exec.mode.local.auto.tasks.max(預設4)

3.job的reduce數必須為0或者1

hive 開啟本地模式

先講乙個hive使用的乙個小技巧。對於使用慣了oracle資料庫的人來說,hive中沒有dual啊,想驗證一些函式的執行結果很是麻煩。比如我們在oracle資料庫裡面可以寫select 1 2 from dual可以返回3。為了保證使用習慣,我們類似的在hive中也建一張dual表 create t...

hive本地模式和遠端模式

1.內嵌模式,特點是 hive服務和metastore服務執行在同乙個程序中,derby服務也執行在該程序中。該模式無需特殊配置,參見老虎ppt即可。2.本地模式,特點是 hive服務和metastore服務執行在同乙個程序中,mysql是單獨的程序,可以在同一臺機器上,也可以在遠端機器上。該模式只...

hive開啟本地模式執行

先講乙個hive使用的乙個小技巧。對於使用慣了oracle資料庫的人來說,hive中沒有dual啊,想驗證一些函式的執行結果很是麻煩。比如我們在oracle資料庫裡面可以寫select 1 2 from dual可以返回3。為了保證使用習慣,我們類似的在hive中也建一張dual表 create t...