Hadoop Hadoop 傳遞引數

2021-06-07 03:40:38 字數 448 閱讀 5859

寫mapreduce程式通常要傳遞各種各樣的引數,選擇合適的方式來傳遞引數既能提高工作效率,也可以避免bug的產生。根據引數的大小,可以粗略的分為以下幾種。

最直接的方式就是使用configuration的各種set方法,對於基本資料型別都有很好的支援,比如傳遞kmeans聚類演算法的中心點個數。

正確的方法是,讓這個物件實現writable介面,使它具有序列化的能力,然後使用 org.apache.hadoop.io.defaultstringifier的store(conf,  obj, keyname)和load(conf, keyname, itemclass)靜態方法設定和獲取這個物件。他的主要思想就是將這個物件序列化成乙個位元組陣列後,用base64編碼成乙個字串,然後傳遞給 conf, 解析的時候與之類似。

如何傳遞更大的引數,比如分詞用的語料庫等等?可以使用hadoop的快取檔案distributedcache。

ajax多參傳遞

ajax 方法通過 http 請求載入遠端資料。該方法是 jquery 底層 ajax 實現。簡單易用的高層實現見 get,post 等。ajax 返回其建立的 xmlhttprequest 物件。大多數情況下你無需直接操作該函式,除非你需要操作不常用的選項,以獲得更多的靈活性。最簡單的情況下,aj...

c 函式傳參 值傳遞 指標傳遞 引用傳遞

1 將變數名作為實參和形參 這時傳給形參的是變數的值,傳遞是單向的。如果在執行函式期間形參的值發生變化,並不傳回實參。應為在呼叫函式時,形參和實參不是同乙個儲存單元。2 傳遞變數的指標 形參是指標變數,實參是乙個變數的位址,呼叫函式時,形參指向實參變數單元。可以通過形參指標修改實參的值。3 c 提供...

pthread create如何傳遞多個引數

分類 c語言 2012 06 19 08 44 98人閱讀收藏 舉報涉及多引數傳遞給執行緒的,都需要使用結構體將引數封裝後,將結構體指標傳給執行緒 定義乙個結構體 struct mypara 將這個結構體指標,作為void 形參的實際引數傳遞 struct mypara pstru pthread ...