yarn （yet another resource negotiator） 另乙個資源調配器
排程引擎 （配置**：
資源排程（有 主resourcemanager【管理很多job】 從nodemanager【真正執行job的計算】）先訪問resourcemanager ，resourcemanager 把job分配到不同的機器上不同的機器上通過nodemanager進行管理
可以在yarn上面跑各種計算引擎（如 spark storm等）
哪台機器的cpu空著就把作業調到哪台機器上，哪台記憶體比較大就調到哪台機器上
hadoop的datanode （真正資料儲存）和yarn的nodemanager（管理計算）放在一起，方便做計算（資料和計算比較近）
hdfs和yarn是可以分離的，不啟動hdfs也可啟動yarn
設計原則：移動計算，而不是移動資料
廈門大學林子雨老師大資料hadoop操作筆記
按照老師的教程陪著好hadoop後 start dfs.sh stop dfs.sh 3.執行 hadoop 程式時，為了防止覆蓋結果，程式指定的輸出目錄 如 output 不能存在，否則會提示錯誤，因此執行前需要先刪除輸出目錄。在實際開發應用程式時，可考慮在程式中加上如下 能在每次執行時自動刪除輸...
Junit4筆記 馬士兵
寫了個類，要給別人用，會不會有bug？怎麼辦？測試一下。用main方法測試好不好？不好！1.不能一起執行！2.大多數情況下需要人為的觀察輸出確定是否正確 重用測試，應付將來的實現的變化。提高士氣，明確知道我的東西是沒問題的。1.new project 2.建立類 3.建立testcase 1.ass...
馬雲大資料布局
當你明白何為大資料，就知道這次馬雲又在布乙個很大的局，他也開始向大資料領域發力了。可以預料，大資料將會成為未來產業財富擴張的重要引擎。為何大家對大資料表現出如此的激情呢？看看外面精彩的世界便知一二。大資料最近很火爆！馬雲收購恆生終於在傳言不久後，被恆生電子股份 股東股權變動的提示性公告證實。馬雲不好...