hadoop2 x入門 Hadoop的啟動方式

2021-08-04 04:39:45 字數 2587 閱讀 9900

本內容基於hadoop-2.7.2

1. hadoop啟動方式

我們執行hadoop安裝目錄下的sbin/***-***.sh

#各服務元件逐一啟動:

hdfs

hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode

yarn

yarn-daemon.sh start|stop resourcemanager|nodemanager

mapreduce

mr-jobhistory-daemon.sh start|stop historyserver

#各模組分開啟動

hdfs

start-dfs.sh|stop-dfs.sh

yarn

yarn-dfs.sh|yarn-dfs.sh

#全部啟動

start-all.sh|stop-all.sh

初始學習階段可以使用start-all.sh啟動全部。

2. 通過web了解hadoop的執行活動

注意:是hadoop2.x,因為hadoop2.x和hadoop1.x配置和預設埠不一樣

例如:http://master:8088

3. 常用埠

hadoop集群的各部分一般都會使用到多個埠,有些是daemon之間進行互動之用,有些是用於rpc訪問以及http訪問。而隨著hadoop周邊元件的增多,完全記不住哪個埠對應哪個應用,特收集記錄如此,以便查詢。

這裡包含我們使用到的元件:hdfs, yarn

元件節點

預設埠

配置用途說明

hdfs

datanode

50010

dfs.datanode.address

datanode服務埠,用於資料傳輸

http服務的埠

https服務的埠

http服務的埠

https服務的埠

hdfs

namenode

8020

fs.defaultfs

接收client連線的rpc埠,用於獲取檔案系統metadata資訊。

hdfs

journalnode

8485

dfs.journalnode.rpc-address

rpc服務

http服務

yarn

resourcemanager

8032

yarn.resourcemanager.address

yarn

resourcemanager

8030

yarn.resourcemanager.scheduler.address

scheduler元件的ipc埠

yarn

resourcemanager

8031

yarn.resourcemanager.resource-tracker.address

ipcyarn

resourcemanager

8033

yarn.resourcemanager.admin.address

ipcyarn

resourcemanager

8088

http服務埠

yarn

nodemanager

8040

yarn.nodemanager.localizer.address

localizer ipc

yarn

nodemanager

8042

http服務埠

yarn

nodemanager

8041

yarn.nodemanager.address

nm中container manager的埠

yarn

jobhistory server

10020

mapreduce.jobhistory.address

ipcyarn

jobhistory server

19888

http服務埠

4.參考資料

hadoop2.x常用埠及定義方法

hadoop2 x入門 Hadoop的啟動方式

hadoop2.x入門 hadoop的啟動方式,本內容基於hadoop 2.7.2。1.hadoop啟動方式 我們執行hadoop安裝目錄下的sbin sh 各服務元件逐一啟動 hdfs hadoop daemon.sh start stop namenode datanode secondaryn...

大資料基礎Hadoop 2 x入門

儲存和分析網路資料 三大元件 hdfs yarn common hive 蜜蜂 通過使用sql語句來執行hadoop任務 hbase 儲存結構化資料的分布式資料庫 zookeeper 維護節點狀態 使用docker安裝 docker run i t p 50070 50070 p 9000 9000...

hadoop2 x安裝(準備工具)

每次換電腦的時候都要把hadoop的環境重新的搭建一遍,每次配置的時間不是很長,但是準備的時間浪費很多,都是一些常用的工具軟體還有對應的外掛程式,映象什麼的。所以這次在部落格上總結一下。算是一種複習,也算是為剛接觸hadoop的同學乙個方便的思路。下面我將分為幾部分來描述搭建hadoop2.x的所有...