Oozie 4 0 0 CDH 安裝部署

2021-07-16 01:26:11 字數 3569 閱讀 7868

**

oozie4.0.0安裝包

ext2.2包

存在在/home/casliyang/downloads/ext-2.2.zip

將oozie4.0.0安裝包解壓拷貝到:

/home/casliyang/oozie/oozie-4.0.0-cdh5.2.0

這也也是即將配置環境變數的oozie_home

配置環境變數

向/etc/profile中加入如下三行,注意加完回到原使用者後執行source /etc/profile

export oozie_home=/home/casliyang/oozie/oozie-4.0.0-cdh5.2.0

export oozie_config=$oozie_home/conf

export classpath=$classpath:$oozie_home/bin

將ext2.2.0和hadoop相關jar包加入war包,並發布到自帶的web server下

在$oozie_home/bin目錄下執行

生成oozie資料庫指令碼並執行

這裡使用的是自帶的derby資料庫

在$oozie_home/bin目錄下

執行以下命令建立資料庫指令碼

./ooziedb.sh create -sqlfile oozie.sql

通過以下命令執行sql指令碼初始化資料庫

./oozie-setup.sh db create -run  -sqlfile $oozie_home/bin/oozie.sql

配置oozie

配置$oozie_home/conf/

oozie-site.xml

修改以下配置項,將值指向真實hadoop配置檔案路徑,實現oozie和hadoop的關聯:

oozie.service.hadoopaccessorservice.hadoop.configurations

*=/home/casliyang/hadoop2/hadoop-2.5.0-cdh5.2.0/etc/hadoop

comma separated authority=hadoop_conf_dir, where authority is the host:port of

the hadoop service (jobtracker, hdfs). the wildcard '*' configuration is

used when there is no exact match for an authority. the hadoop_conf_dir contains

the relevant hadoop *-site.xml files. if the path is relative is looked within

the oozie configuration directory; though the path can be absolute (i.e. to point

to hadoop client conf/ directories in the local filesystem.

配置 $oozie_home/conf/

oozie-default.xml 將

oozie.services屬性中的

org.apache.oozie.service.jobsconcurrencyservice值提到第乙個位置。

hdfs上建立共享目錄

在$hadoop_home/etc/hadoop/core-site.xml中加入以下配置,紅色的casliyang為使用者名稱,藍色的casliyang為組名,singlehadoop為oozie的host(注意不能用localhost,會報錯):  

hadoop.proxyuser.casliyang.hosts

singlehadoop

hadoop.proxyuser.casliyang.groups

casliyang

啟動hadoop,該步驟不詳述。

在$oozie_home/bin目錄下執行:

casliyang@singlehadoop:~/oozie/oozie-4.0.0-cdh5.2.0/bin$ 

./oozie-setup.sh sharelib create -fs hdfs://singlehadoop:8020 -locallib $oozie_home/oozie-sharelib-4.0.0-cdh5.2.0-yarn.tar.gz

setting catalina_opts="$catalina_opts -xmx1024m"

log4j:warn please initialize the log4j system properly.

log4j:warn see for more info.

slf4j: class path contains multiple slf4j bindings.

slf4j: found binding in [jar:file:/home/casliyang/oozie/oozie-4.0.0-cdh5.2.0/libtools/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/staticloggerbinder.class]

slf4j: found binding in [jar:file:/home/casliyang/oozie/oozie-4.0.0-cdh5.2.0/libtools/slf4j-******-1.7.5.jar!/org/slf4j/impl/staticloggerbinder.class]

slf4j: see for an explanation.

slf4j: actual binding is of type [org.slf4j.impl.log4jlogge***ctory]

the destination path for sharelib is: /user/casliyang/share/lib/lib_20141121184647

啟動oozie

在$oozie_home/bin目錄下

前台執行oozie:

./oozied.sh run

後台執行oozie:

./oozied.sh start

檢視oozie網頁:

停止oozie:

./oozied.sh stop

oozie 常見命令

oozie admin oozie http localhost 11000 oozie shareliblist pig 檢視共享庫pig具體的jar包 oozie admin oozie http localhost 11000 oozie shareliblist 檢視共享庫 oozie jo...

oozie排程引擎

oozie 是用於hadoop平台的開源的工作流排程引擎 統一排程hadoop系統中常見的mr任務啟動 hdfs操作 shell操作 hive操作等 使得複雜的依賴關係 時間觸發 事件觸發使用xml語言進行表達,開發效率提高 一組任務使用乙個dag來表示,使用圖形表達流程邏輯更加清晰 支援很多種任務...

Oozie學習總結

oozie是乙個管理hadoop作業 可伸縮 可擴充套件 可靠的工作流排程系統。主要有三大功能模組構成 workflow 工作流 定義job任務執行。coordinator 定時觸發workflow,週期性執行workflow bundle job 繫結多個coordinator,一起提交或觸發所以...