Hadoop預設埠說明

2021-08-28 05:30:17 字數 3024 閱讀 9021

hiveserver

10000 /etc/hive/conf/hive-env.sh中export hive_server2_thrift_port=來更新預設埠

zookeeper

server

2181

/etc/zookeeper/conf/zoo.cfg中clientport=對客戶端提供服務的埠

2888

/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分

follower用來連線到leader,只在leader上監聽該埠。

3888

/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分

用於leader選舉的。只在electionalg是1,2或3(預設)時需要。

所有埠協議均基於tcp。

對於存在web ui(http服務)的所有hadoop daemon,有如下url:

/logs

/loglevel

允許你設定log4j的日誌記錄級別,類似於hadoop daemonlog

/stacks

所有執行緒的stack trace,對於debug很有幫助

/jmx

服務端的metrics,以json格式輸出。

/jmx?qry=hadoop:*會返回所有hadoop相關指標。

/jmx?get=mxbeanname::attributename 查詢指定bean指定屬性的值,例如/jmx?get=hadoop:service=namenode,name=namenodeinfo::clusterid會返回clusterid。

這個請求的處理類:org.apache.hadoop.jmx.jmxjsonservlet

而特定的daemon又有特定的url路徑特定相應資訊。

hdfs資訊頁面,其中有鏈結可以檢視檔案系統

/dfsnodelist.jsp?whatnodes=(dead|live)

顯示dead或live狀態的datanode

/fsck

執行fsck命令,不推薦在集群繁忙時使用!

每個datanode都會指定間隔驗證塊資訊

埠用途

9000

fs.defaultfs,如:hdfs:

9001

dfs.namenode.rpc-address,datanode會連線這個埠

dfs.namenode.secondary.http-address,如:172.25.39.166:50090

50091

dfs.namenode.secondary.https-address,如:172.25.39.166:50091

dfs.datanode.address,datanode的資料傳輸埠

zookeeper,如果是leader,用來監聽follower的連線

3888

zookeeper,用於leader選舉

2181

zookeeper,用來監聽客戶端的連線

60010

hbase.master.info.port,hmaster的http埠

60000

hbase.master.port,hmaster的rpc埠

60030

hbase.regionserver.info.port,hregionserver的http埠

60020

hbase.regionserver.port,hregionserver的rpc埠

8080

hbase.rest.port,hbase rest server的埠

10000

hive.server2.thrift.port

9083

hive.metastore.uris

其中最常用的應該是50070和8088了,web介面中監控hdfs:

web介面中監控任務執行狀況:

Hadoop部分埠說明

預設埠 設定位置 描述資訊 8020 namenode rpc互動埠 8021 jt rpc互動埠 jobtracker的 伺服器和埠 namenode的 伺服器和埠 50010 dfs.datanode.address datanode control port each datanode lis...

常用埠說明

1.公認埠 well known ports 從0到1023,它們緊密繫結於一些服務。通常這些埠的通訊明確表明了某種服務的協議。例如 80埠實際上總是http通訊。2.註冊埠 registered ports 從1024到49151。它們鬆散地繫結於一些服務。也就是說有許多服務繫結於這些埠,這些埠同...

埠說明和常用埠

www.abc.com 上的user01使用者的資訊,可以在命令列中鍵入 finger user01 www.abc.com 即可。埠漏洞 一般黑客要攻擊對方的計算機,都是通過相應的埠掃瞄工具來獲得相關資訊,比如使用 流光 就可以利用79埠來掃瞄遠端計算機作業系統版 本,獲得使用者資訊,還能探測已知...