HUE與YARN的整合

2021-10-18 15:43:40 字數 948 閱讀 8933

配置hue.ini

找到[[yarn_clusters]]標籤,涉及修改配置如下:

[

[yarn_clusters]][

[[default]]]

#yarn服務的配置

resourcemanager_host=

192.168

.56.86

resourcemanager_port=

8032

#是否將作業提交到此群集,並監控作業執**況

submit_to=true

#logical_name=cluster-

yarn1

(如果開高可用的話)

#配置yarn資源管理的訪問入口

#歷史伺服器管理的入口,檢視作業的歷史運**況

:19888

hadoop啟動jobhistoryserver來實現web檢視作業的歷史運**況:./mr-jobhistory-daemon.sh start historyserver

$ build/env/bin/supervisor

//測試

./bin/yarn jar .

/share/hadoop/mapreduce/hadoop-mapreduce-examples-

2.6.1

.jar wordcount /input/

/output

HUE與Oozie的整合

找到 liboozie 標籤以及 oozie 標籤涉及修改如下 liboozie liboozie 執行oozie服務的url。oozie hdfs上的位置,提交時部署工作流。remote deployement dir oozie oozie 本地儲存oozie示例的位置。local data d...

hue的安裝與使用

這是我個人的總結,僅供參考 2.是hue文件的位址 3.安裝hue的依賴,見的table 1.required dependencies部分.也可以參考 使用yum y install gcc這樣的方式安裝 4.指定secret key 見的specifying the secret key部分 5...

CDH5 15 1中Hue整合Hdfs和Hbase

一 整合hdfs 1 問題描述 開啟hue的web介面,出現報錯 cannot access user hue.note you are a hue admin but not a hdfs superuser,hdfs or part of hdfs2 解決辦法,安全性待確認 root hadoo...