Oozie 03執行官方案例 20161116

2022-07-21 18:00:27 字數 2603 閱讀 6926

(1)oozie根目錄下

找到 oozie-examples.tar.gz

(2)解壓tar -zxvf oozie-examples.tar.gz  生成

example

資料夾[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz

(3)拷貝(2)新生成的examples到

hdfs

的使用者家目錄下

(4)檢視examples裡面內容

,三個目錄主要功能及截圖如下

官方自帶的workflow的案例,有

input-data:輸入的資料

src:原始碼包

(5)配置案例自帶的mapreduce程式

檢視其中乙個mao-reduce案例,裡面有五個檔案:

job.properties:兩個作用:指定workflow的位址  宣告相關變數

namenode=主機名

jobtracker 埠為8032(就是resourcemanger位址)

queuename佇列名稱不改

examplesroot

原有內容

修改下面內容  修改了namenode和

jobtracker

兩處

lib存放jar包

【不用修改】

workflow.xml:實際執行的workflow【執行該案例這個配置不用修改】

prepare標誌作用對提前刪除輸出目錄

.輸出目錄同輸入目錄同建立在/user/hadoop/examples下面(如下圖)

configuration標誌對

job-with-config-class.properties【不修改】

workflow-with-config-class.xml【不修改】

(6)修改oozie-site.xml

修改前內容

該屬性修改為hadoop的配置檔案

注意:  *=不能刪除

(7)重啟oozie

[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop

[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start

(8)再次提交

命令列介面

oozie圖形介面

(9)總結

第一點:執行時指定的job.properties檔案是本地的,不是hdfs上面的,不過建議修改完該properties檔案最好重新上次,把整個包重新上傳

第二點:執行乙個workflow 啟動了兩個

mapreduce

乙個是oozie:

launcher

用於對workflow

進行封裝(封裝程式只有

map任務)

乙個是oozie:

action

執行的mapreduce

利用8088埠檢視

只有map

任務

Oozie 多指令碼邏輯順序執行

oozie順序執行sh指令碼。依次執行p1.sh和p2.sh。每個裡面都是簡單的列印資訊。如下 p1.sh grq hadoop102 shell more p1.sh bin bash echo tmp p1.log sbin ifconfig tmp p1.log echo date tmp p...

夜生活首席執行官

2019年4月,為促進夜間經濟發展,c市成為首個建立 夜間區長 和 夜生活首席執行官 制度的城市。夜間區長 是由各區分管區長擔任,負責統籌協調夜間經濟發展,而 夜生活首席執行官 則鼓勵各區公開招聘具有夜間經濟相關行業管理經驗的人員擔任。目前,c市已經任命10多位 夜生活首席執行官 作為c市普陽區任命...

我的大資料之旅 Oozie執行shell指令碼任務

目錄 目標 通過oozie排程hdfs上的shell指令碼 步驟 1.解壓oozie官方案例模板 2.建立工作目錄 3.拷貝案例模板 4.建立shell指令碼 5.修改property檔案 6.修改workflow.xml 7.將整個job目錄上傳hdfs 8.執行job 效果圖 feng hado...