hive開啟計算引擎session卡死

平台：h3c dataengine

表現形式：啟動hive shell第一次執行走計算流程的sql時，開啟計算引擎的session時卡死，視覺化檢視任務正常提交，就是無法執行。

原因解釋：無論什麼yarn排程器預設都是單佇列，h3c使用的是公平排程器，但佇列中存在其他正在執行的任務導致佇列資源占用達到10%，導致後面的任務需要等待前面的任務走完，卡死的根本原因是安裝了spark，導致後台會啟動spark session且一直執行，導致之後的任務無法提交。

解決方案：配置yarn多佇列

<?xml version="1.0"?>
>
>
>
name
="tez"
>
>
5weight
>
>
fairschedulingpolicy
>
queue
>
name
="default"
>
>
5weight
>
queue
>
queue
>
>
name
="specified"
create
="false"
/>
name
="default"
/>
queueplacementpolicy
>
allocations
>

啟動hive shell，設定hive的資源隊列為tez

set mapred.job.queue.name=tez;

報錯：不允許設定當hive正在執行時

解釋：當前白名單允許修改的配置中不包括當前配置

解決：將該字段新增到白名單中，或直接修改hive配置

hiveserver2-site中新增如下配置

hive.security.
authorization
tez\.
.*\..*
|mapreduce\.
.*\..*
|mapreduce\.
.*\.
.*\..*
|mapreduce\.
.*\.
.*\.
.*\..*
|parquet\.
.*\.
.*\.
.*\..*
|hive\..*
|hive\.
.*\..*
|hive\.
.*\.
.*\..*
|hive\.
.*\.
.*\.
.*\.
.*

hive的問題解決，但啟動的任務仍然放在default中，即使制定了hive任務的佇列，猜測可能是因為queueplacementpolicy策略理解有誤，待考察第二套方案，根據使用者名稱設定佇列，任務誰提交放在哪個佇列下

<?xml version="1.0"?>
>
>
>
name
="hdfs"
>
>
5weight
>
queue
>
name
="default"
>
>
5weight
>
>
fairschedulingpolicy
>
queue
>
queue
>
>
name
="specified"
create
="false"
>
rule
>
name
="primarygroup"
create
="false"
>
rule
>
name
="user"
create
="false"
>
rule
>
name
="default"
>
rule
>
queueplacementpolicy
>
allocations
>

問題解決，經測試，使用yarn使用者提交wordcount任務，走default資源佇列，兩個任務實現並行執行，問題解決

hive開啟計算引擎session卡死

Hive更換Tez計算引擎

hive安裝Tez計算引擎

Hive支援的計算引擎

hive開啟計算引擎session卡死

Hive更換Tez計算引擎

hive安裝Tez計算引擎

Hive支援的計算引擎

相關推薦