Hive 常見問題 持續更新。。。

2021-06-14 21:30:03 字數 1396 閱讀 7792

q: 是否有像類似於phpmyadmin一樣的hive查詢客戶端,能以介面的方式查詢hive語句和匯出資料

a: 有的,客戶端的話可以使用squirrel來連線hive,squirrel是乙個通用的資料庫查詢客戶端,還有有乙個開源專案phphiveadmin也不錯,

web方式訪問hive,我自己也寫了乙個hive web client(

q: 執行語句時候,能否控制reducer的個數

a: 可以在執行hive語句之前先set mapred.reduce.tasks=

q: 是否可能在輸出的時候在結果第一行列印列名

a: 可以在執行hive語句之前先 set hive.cli.print.header=true;

q: hive是否支援跨資料庫查詢,比如database arch的table1和database algo的table2 進行join

a: 可以,只要有使用者有這兩張表的select許可權即可,使用者需要用「database.table」的方式來指定資料庫下的表

q: hive是否有內建的函式,可以對輸出的資料進行處理

a: hive提供了豐富的內建函式,參見

,使用者也可以自己實現自定義的udf方法來滿足更複雜的查詢需求

q: hive支援exist in麼?

a: 不支援,但是可以通過改寫語句達到相同的效果,比如對於查詢語句:

select a.key, a.value from a where a.key in (select b.key from b);

可以改寫成:

select a.key, a.val

from a left semi join b on (a.key = b.key)

q:hive是否支援本地執行模式

a:hive支援本地執行模式,當資料量小的時候,本地執行比提交到集群上執行效率提公升很大

set hive.exec.mode.local.auto=true(預設false)

當乙個job滿足如下條件才能真正使用本地模式:

1.job的輸入資料大小必須小於引數hive.exec.mode.local.auto.inputbytes.max(預設值128mb)

2.job的map處理的檔案數大於引數hive.exec.mode.local.auto.input.files.max(預設值4)

3.job的reduce數必須為0或者1,不管是使用者設定的還是系統推測出來的

a:the number and names of columns returned by each select_statement has to be the same. otherwise, a schema error is thrown.

union all兩邊的欄位名,和字段數都必須一致,可以用as ***來統一欄位名,並且目前union all只能作為子查詢

Vue Webpack常見問題(持續更新)

常識 1.computed計算屬性,使用的屬性必需在data裡面宣告。computed webpack問題 1.模組裡面使用json.stringify和 typeof,報 uncaught typeerror cannot assign to read only property exports ...

Docker常見問題總結(持續更新)

一 映象相關問題 1 如何批量清理臨時映象檔案?docker rmi docker images qf dangling true 2 如何檢視映象支援的環境變數?docker run image env 3 本地的映象檔案都存放在 與docker相關的本地資源都存放在 var lib docker...

hive常見問題

distinct用法 對select 後面所有欄位去重,並不能只對一列去重 1 當distinct應用到多個欄位的時候,distinct必須放在開頭,其應用的範圍是其後面的所有字段,而不只是緊挨著它的乙個字段,而且distinct只能放到所有欄位的前面 2 distinct對null是不進行過濾的,...