節點預設埠
用途說明
hdfs
datanode
50010
datanode服務埠，用於資料傳輸
50075
http服務的埠
50475
https服務的埠
50020
ipc服務的埠
50070
http服務的埠
50470
https服務的埠
8020
接收client連線的rpc埠，用於獲取檔案系統metadata資訊。
journalnode
8485
rpc服務
8480
http服務
zkfc
8019
zookeeper,failovercontroller，用於nn ha
yarn
resourcemanager
8032
8030
scheduler元件的ipc埠
8031
rpc8033
ipc8088
http服務埠
nodemanager
8040
localizer ipc
8042
http服務埠
8041
nm中container manager的埠
jobhistory server
10020
ipc19888
http服務埠
Hadoop2的Yarn和MapReduce2相關
1 什麼是yarn？2 yarn 和mapreduce相比，它有什麼特殊作用 yarn是乙個分布式的資源管理系統，用以提高分布式的集群環境下的資源利用率，這些資源包括記憶體 io 網路 磁碟等。其產生的原因是為了解決原mapreduce框架的不足。最初mapreduce的committer們還可以週...
Hadoop 2 4 0和YARN的安裝過程
摘要 hadoop 2.2，2.3，2.4版本的安裝都差不多。為了執行乙個hadoop程式，花了大半天部署環境，在這裡特此記錄安裝過程，讓以後少走彎路。將mapreduce框架公升級到apache yarn，yarn將map reduce工作區分為兩個 jobtracker元件 實現資源管理和任務j...
Hadoop集群之HDFS和YARN啟動和停止命令
1.啟動hdfs集群 使用hadoop的批量啟動指令碼 2.停止hdfs集群 使用hadoop的批量啟動指令碼 3.啟動單個程序 4.分別檢視啟動後3臺虛擬機器上的程序情況 root hadoop01 jps 6695 datanode 2002 quorumpeermain 6879 dfszkf...