mapreduce新舊api對比

2022-08-27 05:39:09 字數 724 閱讀 3699

對比:hadoop版本1.x 新版,hadoop版本0.x 舊版

1.新api引用包一般是mapreduce ,舊版api引用的包一般是mapred

2.新api使用job,舊版api使用jobconf

3.新api類的包名使用mapreduce,舊版api使用mapred

4.新api使用job.waitforcompletion(true)提交作業,舊版api使用jobclient.runjob(job);

6.新api:使用上下文context ctx ctx.write(),舊版api:使用outputcollector<>collector reporter  collector.collect();

新版:public class kpi extends configured implements tool

static class myreducer extends reducer

public int run(string arg0)

public static void main(string args) throws exception

}舊版:

public class old_api

}static class myreducer extends mapreducebase implements reducer

}public static void main(string args)

}

Mapreduce的api程式設計

keyin 輸入的key是maptask所讀取到的一行文字的起始偏移量,long valuein 輸入的value的型別,輸入的value是maptask所讀取到的一行文字內容,string keyout 我們在本邏輯中輸出單詞做key,string valueout 我們在本邏輯中輸出 作valu...

Hadoop新舊API的區別和聯絡

從0.20.0 版本開始,hadoop 同時提供了新舊兩套mapreduce api。新api 在舊api基礎上進行了封裝,使得其在擴充套件性和易用性方面更好。新舊版mapreduce api 的主要區別如下。1 存放位置 舊版api 放在org.apache.hadoop.mapred 包中,而新...

對API的理解

1 定義 api是遠端伺服器或者作業系統的一些函式,是它們的一部分 1 軟體是執行在系統平台的支撐上的,軟體的功能其實就是向系統伸請,並由系統完成這些功能的過程。系統平台 指在電腦裡讓軟體執行的系統環境,包括硬體環境和軟體環境。典型的系統平台包括一台電腦的架構 也就是硬體 作業系統 程式語言等。2 ...