hadoop 埠號及時查詢

2022-07-24 07:27:10 字數 3532 閱讀 4214

hadoop集群的各部分一般都會使用到多個埠,有些是daemon之間進行互動之用,有些是用於rpc訪問以及http訪問。而隨著hadoop周邊元件的增多,完全記不住哪個埠對應哪個應用,特收集記錄如此,以便查詢。

這裡包含我們使用到的元件:hdfs, yarn, hbase, hive, zookeeper:

元件節點

預設埠配置用途說明

hdfs

datanode

50010

dfs.datanode.address

datanode服務埠,用於資料傳輸

http服務的埠

https服務的埠

hdfs

datanode

50020

dfs.datanode.ipc.address

ipc服務的埠

http服務的埠

https服務的埠

hdfs

namenode

8020

fs.defaultfs

接收client連線的rpc埠,用於獲取檔案系統metadata資訊。

hdfs

journalnode

8485

dfs.journalnode.rpc-address

rpc服務

http服務

hdfs

zkfc

8019

dfs.ha.zkfc.port

zookeeper failovercontroller,用於nn ha

yarn

resourcemanager

8032

yarn.resourcemanager.address

yarn

resourcemanager

8030

yarn.resourcemanager.scheduler.address

scheduler元件的ipc埠

yarn

resourcemanager

8031

yarn.resourcemanager.resource-tracker.address

ipcyarn

resourcemanager

8033

yarn.resourcemanager.admin.address

ipcyarn

resourcemanager

8088

http服務埠

yarn

nodemanager

8040

yarn.nodemanager.localizer.address

localizer ipc

yarn

nodemanager

8042

http服務埠

yarn

nodemanager

8041

yarn.nodemanager.address

nm中container manager的埠

yarn

jobhistory server

10020

mapreduce.jobhistory.address

ipcyarn

jobhistory server

19888

http服務埠

hbase

master

60000

hbase.master.port

ipchbase

master

60010

hbase.master.info.port

http服務埠

hbase

regionserver

60020

hbase.regionserver.port

ipchbase

regionserver

60030

hbase.regionserver.info.port

http服務埠

hbase

hquorumpeer

2181

hbase.zookeeper.property.clientport

hbase-managed zk mode,使用獨立的zookeeper集群則不會啟用該埠。

hbase

hquorumpeer

2888

hbase.zookeeper.peerport

hbase-managed zk mode,使用獨立的zookeeper集群則不會啟用該埠。

hbase

hquorumpeer

3888

hbase.zookeeper.leaderport

hbase-managed zk mode,使用獨立的zookeeper集群則不會啟用該埠。

hive

metastore

9083

/etc/default/hive-metastore中export port=來更新預設埠

hive

hiveserver

10000

/etc/hive/conf/hive-env.sh中export hive_server2_thrift_port=來更新預設埠

zookeeper

server

2181

/etc/zookeeper/conf/zoo.cfg中clientport=

對客戶端提供服務的埠

zookeeper

server

2888

/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分

follower用來連線到leader,只在leader上監聽該埠。

zookeeper

server

3888

/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標藍部分

用於leader選舉的。只在electionalg是1,2或3(預設)時需要。

所有埠協議均基於tcp。

Hadoop和Spark常用埠號

大資料中hadoop和spark的重要性不必多言,常用埠號必須得記得死死的。hadoop2.x 訪問hdfs埠 50070 訪問mr執 況埠 8088 訪問歷史伺服器 19888 客戶端訪問集群埠 9000 hadoop3.x 訪問hdfs埠 9870 訪問mr執 況埠 8088 訪問歷史伺服器 1...

hadoop各個埠號的區別

8020埠 opt hadoop 2.6.5 etc hadoop core site.xml下的配置 8020是預設rpc的埠號,一般用於ide遠端使用hadoop集群,是程式和程式之間的連線。dfs.namenode.rpc address.mycluster.nn1name node01 80...

修改埠號

修改埠號 在預設情況下,tomcat的埠是8080,使用了兩個tomcat,那麼就需要修改其中的乙個的埠號才能使得兩個同時工作。那麼,如何修改tomcat的埠號呢?首先到安裝目錄 或者解壓目錄 下找到conf資料夾,在裡面找到server.xml的檔案,找到 將port 8080 改為其它的就可以了...