MapReduce程式設計 統計詞頻

2021-10-07 16:34:22 字數 764 閱讀 3916

map

/**

* keyin:輸入的key型別

* valuein:輸入的value型別

* keyout:輸出的key型別

* valueout:輸出的value型別

*/public

class

extends

}}

reducer

/**

* keyin:reduce段輸入key型別,即map輸出的key型別

* valuein:reduce段輸入value型別,即map輸出的value型別

* keyout:reduce輸出的key型別

* valueout:reduce輸出的value型別

*/public

class

wcreducer

extends

reducer

//將key和value進行寫出

v.set(sum)

; context.

write

(key,v);}

}

driver

public

static

void

main

(string[

] args)

throws ioexception, classnotfoundexception, interruptedexception

讀書筆記 MapReduce詞頻統計

詞頻統計作為mapreduce入門的乙個基礎演算法,相當與各種語言的 hello world 程式。下面簡單說一下mapreduce的演算法實現。private intwritable one new intwritable 1 private text word new text private ...

結對程式設計 詞頻統計

倉庫位於 azure 可執行程式 windows exe 位於 可執行檔案 不是病毒 首先我們採用的程式語言是 c 我們採用的平台是 azure devops。總體的合作方式是採用官僚式,即每個人都負責各自的乙個功能,本次程式中一共有4個功能需要實現 字母佔比 單詞統計 片語統計 動詞 介詞統計,我...

結對程式設計 詞頻統計

搭檔 施蓓蓓 原始碼 github 貢獻比例 50 結對程式設計 1 要求 基於作業3的結果,讀取乙個較小的文字檔案a tale of two cities.txt,統計該檔案中的單詞的頻率,並將統計結果輸出到當前目錄下的 result1.txt 檔案 2 程式 ifstream infile a ...