初識MR Run編寫

2021-09-24 11:34:15 字數 570 閱讀 6590

​ xx1,xx2代表輸入資料鍵值對的型別 xx3,xx4代表輸出時鍵值對的型別

​ 寫呼叫並map方法,將資料放到陣列中,迴圈陣列,得到輸出結果

​ 判斷輸入資料型別,基本資料型別不能做序列化處理,text重寫了string,intwriteable重寫了long

​ 寫呼叫並reduce方法,將資料聚合(統計資料),得到輸出結果

​ int sum=0;

​ for(intwritable i:iter)

​ context.write(key, new intwritable(sum));

​ iterable iter --迭代器(假),因為需要直接傳參給reduce

runjob:

​ 趨近於格式化,參考**如下

public class runjob

fileoutputformat.setoutputpath(job, outpath);

//開始執行

boolean f =job.waitforcompletion(true);

if(f)

} catch (exception e)

初識python,編寫乙個簡單的python程式

在ubuntu下安裝好了最新的python3.9,開啟學習python之旅。在命令列輸入python進入互動模式 互動模式下,你每輸入一行 python直譯器就將這一行 轉換成機器碼來執行。例如 互動模式輸入100 200,然後回車 直接會顯示執行結果300 但是這樣的 是沒有儲存的,如果下次我們還...

chapter 初識1 0 編寫第乙個爬蟲

因為之前就對python有所了解,所以就不對python的安裝與環境配置有過多的說明了 這好像也不是初識哦,哈哈 這裡使用python3.7 spyder整合開發環境,因為使用的是anaconda自帶很多第三方庫所以這裡就不對第三方庫的匯入有過多的說明了。編寫第乙個簡單的爬蟲 coding utf ...

docker初識 Docker 初識

一 docker 簡介 docker是乙個開源的應用容器,使用者可以將web程式和服務打包到乙個輕量級 可以移植的容器中,然後發布到任務流行的linux伺服器上,實現虛擬化。同時完全是沙箱操作,即docker內部是乙個沙箱操作,專案之間不會有任何介面,並且開銷極低。二 docker centos 安...