阿里雲建立E MapReduce 3 建立作業

2021-09-23 06:31:41 字數 822 閱讀 5048

要執行乙個計算任務,首先需要定義乙個作業,其步驟如下:

1.登入阿里雲 e-mapreduce 控制台作業頁面。

2.選擇地域(region),則作業將會建立在對應的地域內。

3.單擊該頁右上角的建立作業,進入建立作業頁面,如下圖所示:

4.填寫作業名稱。

5.選擇作業型別。

6.填寫作業的應用引數。應用引數需要完整填寫該作業執行的 jar 包、作業的資料輸入輸出位址以及一些命令列引數,也就是將使用者在命令列的所有引數填寫在這裡。如果有使用到 oss 的路徑,可以單擊下方的「選擇 oss 路徑」選擇 oss 資源路徑。關於各作業型別的引數配置,請參見使用者指南中的作業。

7.實際執行命令。這裡會顯示作業在 ecs 上實際被執行的命令。使用者如果把這個命令直接複製下來,就能夠在 e-mapreduce 集群的命令列環境中直接執行。

8.選擇執行失敗後策略。暫停當前執行計畫會在這個作業失敗後,暫停當前整個執行計畫,等待使用者處理。而繼續執行下乙個作業在這個作業失敗以後,會忽略這個錯誤繼續執行後乙個作業。

9.單擊確定完成建立。

這是乙個 spark 型別的作業,應用引數中設定了相關的引數,輸入輸出路徑等。

注意:本作業僅僅示例,不能實際執行。

oss:// 的字首代表資料路徑指向乙個 oss 路徑,當要讀寫該資料的時候,這個指明了操作的路徑,與 hdfs:// 類似。

快速掌握阿里雲 E MapReduce

阿里雲大學 快速掌握阿里雲 e mapreduce e mapreduce 是構建於阿里雲 ecs 彈性虛擬機器之上,利用開源大資料生態系統,包括 hadoop spark hbase,為使用者提供集群 作業 資料等管理的一站式大資料處理分析服務。本課程主要介紹阿里雲 e mapreduce 的使用...

阿里雲建立負載均衡

開啟阿里雲的官方 登入進入到控制台,點選左側的負載均衡,進入到負載均衡的頁面 2.進入到負載均衡頁面,點選建立負載均衡,進入到負載均衡建立頁面,收費方式分為預付費模式,按量付費模式 3.選擇好各項配置之後 地域,例項型別,主備可用區,收費方式等 點選立即購買,完成付費即可 建立完成如下圖 4.接下來...

阿里雲nginx建立多站點

最近開始用阿里雲的vps,用了它的一鍵安裝包安裝了php環境,nginx的。下面記錄建立多站點的心得。首先php安裝好後會自帶安裝乙個phpwind的站點。檔案目錄存放在 alidata www 下 配置檔案是分開單獨存放的,注意網上的很多都不准 phpwind的配置檔案 alidata serve...