Hadoop 中 最重要的兩個模組

2021-07-25 05:38:56 字數 636 閱讀 8946

hadoop 中 最重要的兩個模組

hdfs   分布式的檔案系統

主節點:

namenode

secondarynamenode

resourcemanager

從節點:

datanode

nodemanager

mapreduce  分布式的平行計算框架

job.submit();

job.waitforcompletion();

就會啟動執行乙個job

mr的job在分布式的集群中如何執行

主節點resourcemanager(2.0)

jobtracker: (1.0)

用來管理任務job執行

時資源的分配

用來監控從節點執行

job任務的情況

用來分配job的任務具

體給那個從節點

從節點用來管理任務job執行

時資源的分配

用來監控從節點執行

job任務的情況

用來分配job的任務具

體給那個從節點

tasktracker(map reduce)

(1.0)

任務的執行者

yarnchild(2.0)

婚姻中最重要的

有乙個朋友和我討論,什麼是婚姻中最重要的。我說,人生觀一致。朋友不屑一顧,說我老土。但我依然這樣認為,認為這是婚姻中最重要的因素。假如你是乙個一心想出人頭地的人,為了事業的成功可以犧牲時間 精力,甚至犧牲友情 善良和正義。那也沒關係,如果你的妻和你一樣,抱著為了成功可以不擇手段的想法,那麼你們就會像...

婚姻中最重要的

有乙個朋友和我討論,什麼是婚姻中最重要的。我說,人生觀一致。朋友不屑一顧,說我老土。但我依然這樣認為,認為這是婚姻中最重要的因素。假如你是乙個一心想出人頭地的人,為了事業的成功可以犧牲時間 精力,甚至犧牲友情 善良和正義。那也沒關係,如果你的妻和你一樣,抱著為了成功可以不擇手段的想法,那麼你們就會像...

電腦科學中最重要的32個演算法

奧地利符號計算研究所 research institute for symbolic computation,簡稱risc 的christoph koutschan博士在自己的頁面上發布了一篇文章,提到他做了乙個調查,參與者大多數是計算機科學家,他請這些科學家投票選出最重要的演算法,以下是這次調查的...