JobClient應用概述

2021-08-30 23:30:13 字數 762 閱讀 5926

一、應用背景

由於在設計中有乙個模組是對job的管理,所以,在這裡我採用了jobclinet來進行簡單的控制。

二、應用點

jobclient指的是org.apache.hadoop.mapred.jobclient這個類。裡面有不少的方法,我這裡列舉一些我用到的和一些需要注意的方法。

1、jobclient的例項化。這裡有2中方法,一種是new jobclient(new jobconf);另外一種是例項化ip位址和埠。

2、通過jobclient獲取job列表。

jobclient.jobstocomplete()返回沒有完成和沒有失敗的job。換句話說就是在執行的job。

jobclient.getalljobs()返回所有的job,不管是失敗還是成功的。

3、獲取jobid

jobid是乙個job的唯一標識,如果要獲取指定的jobid,那麼需要有根據,例如username。我這裡是通過user來獲取jobid。方法是遍歷job,然後找到名稱相匹配的job,然後取出id。

4、通過執行緒阻塞的模式來等待job執行完成。

jobclient.getjob(jobid).waitforcompletion();

三、總結

1、jobclient的應用很簡單,總的說來就那麼幾種,細緻看一下api就會大部分的應用。

2、通過jobclient還可以對task進行監控,也可以獲取job的進度百分比。

3、寫的比較簡單,寫的不對或是有疑問可以發郵件[email protected]

Web應用概述

www全球資訊網,由tim berners lee發明 構成 網頁包含多個物件 物件的定址 url 統一資源定位符 http協議是乙個無狀態協議 伺服器不維護任何有關客戶端過去所發請求的資訊 有狀態的協議更複雜 非永續性連線 永續性連線 ascii 人直接可讀 構成 通過在郵件頭部增加額外的行以宣告...

DeepLearning 應用概述

利用卷積的目標篩選功能,用在視覺識別領域。現在此領域好用的網路基本上全部基於cnn,核心都是卷積。迴圈神經網路用於語音識別於自然語言處理。相較於 cnn 在影象識別和檢測方面的廣泛應用,基於序列模型的 rnn 的應用方面則是語音識別 文字翻譯和自然語言處理等其他更為激動人心的領域。所以,正如 cnn...

Web 應用概述

web 應用概述 網際網路由遍布全世界的各種各樣的網路連線成的乙個鬆散結合的全球網。它使網路上的各計算機可以互相交換資訊。網際網路 internet 它使網路上的各台計算機可以互相交換資訊。internet為使用者提供了各種各樣的服務,如www,email,ftp,即時通訊等 www的含義是全球資訊...