Hadoop 2 0生產環境(多機)搭建方法

2021-07-04 23:58:02 字數 3188 閱讀 7071

步驟1:將安裝包hadoop-2.2.0.tar.gz存放到某一目錄下,並解壓;

步驟2:修改解壓後的目錄中的資料夾etc/hadoop下的xml配置檔案(如果檔案不存在,則自己建立),包括hadoop-env.sh、mapred-site.xml、core-site.xml、hdfs-site.xml和yarn-site.xml;

步驟3:格式化並啟動hdfs;

步驟4:啟動yarn。

注意事項:

(1)主備namenode有多種配置方法,本課程使用journal node方式。為此,需要至少準備3個節點作為journal node,這三個節點可與其他服務,比如nodemanager共用節點

(2)主備兩個namenode應位於不同機器上,這兩台機器不要再部署其他服務,即它們分別獨享一台機器。(注:hdfs 2.0中無需再部署和配置secondary name,備namenode已經代替它完成相應的功能)

(3)主備namenode之間有兩種切換方式:手動切換和自動切換,其中,自動切換是借助zookeeper實現的,因此,需單獨部署乙個zookeeper集群(通常為奇數個節點,至少3個)。

1. hdfs ha部署方法

2. hdfs ha+federation的部署方法

3. yarn部署方法

hdfs ha部署流程—hdfs-site.xml配置:

dfs.nameservices

集群中命名服務列表(自定義)

dfs.ha.namenodes.$

命名服務中的namenode邏輯名稱(自定義)

dfs.namenode.rpc-address.$.$

命名服務中邏輯名稱對應的rpc位址

命名服務中邏輯名稱對應的http位址

dfs.namenode.name.dir

namenode fsiamge存放目錄

dfs.namenode.shared.edits.dir

主備namenode同步元資訊的共享儲存系統

dfs.journalnode.edits.dir

journal node資料存放目錄

hdfs ha部署流程—啟動/關閉hdfs:

(注意:所有操作均在hadoop安裝目錄下進行。)

步驟1:在各個journalnode節點上,輸入以下命令啟動journalnode服務:

sbin/hadoop-daemon.sh start journalnode

步驟2:在[nn1]上,對其進行格式化,並啟動:

bin/hdfs namenode -format

sbin/hadoop-daemon.sh start namenode

步驟3:在[nn2]上,同步nn1的元資料資訊:

bin/hdfs namenode -bootstrapstandby

步驟4:在[nn2],啟動namenode:

sbin/hadoop-daemon.sh start namenode

(經過以上四步操作,nn1和nn2均處理standby狀態)

步驟5:在[nn1]上,將namenode切換為active

bin/hdfs haadmin -transitiontoactive nn1

步驟6:在[nn1]上,啟動所有datanode

sbin/hadoop-daemons.sh start datanode

關閉hadoop集群: 在[nn1]上,輸入以下命令 sbin/stop-dfs.sh

hdfs ha+federation部署流程—啟動/關閉hdfs:

在nn1和nn2兩個節點上進行如下操作:

步驟1:在各個journalnode節點上,輸入以下命令啟動journalnode服務:

sbin/hadoop-daemon.sh start journalnode

步驟2:在[nn1]上,對其進行格式化,並啟動:

bin/hdfs namenode –format -clusterid hadoop-cluster

sbin/hadoop-daemon.sh start namenode

步驟3:在[nn2]上,同步nn1的元資料資訊:

bin/hdfs namenode -bootstrapstandby

步驟4:在[nn2],啟動namenode:

sbin/hadoop-daemon.sh start namenode

(經過以上四步操作,nn1和nn2均處理standby狀態)

步驟5:在[nn1]上,將namenode切換為active

bin/hdfs haadmin -ns hadoop-cluster1 -transitiontoactive nn1

在nn3和nn4兩個節點上進行如下操作:

步驟1:在各個journalnode節點上,輸入以下命令啟動journalnode服務:

sbin/hadoop-daemon.sh start journalnode

步驟2:在[nn3]上,對其進行格式化,並啟動:

bin/hdfs namenode –format -clusterid hadoop-cluster

sbin/hadoop-daemon.sh start namenode

步驟3:在[nn4]上,同步nn1的元資料資訊:

bin/hdfs namenode -bootstrapstandby

步驟4:在[nn4],啟動namenode:

sbin/hadoop-daemon.sh start namenode

(經過以上四步操作,nn3和nn4均處理standby狀態)

步驟5:在[nn3]上,將namenode切換為active

bin/hdfs haadmin -ns hadoop-cluster2 -transitiontoactive nn3

最後:在[nn1]上,啟動所有datanode

sbin/hadoop-daemons.sh start datanode

yarn啟動/停止步驟:

在sy-0217上執行以下命令:

啟動yarn: sbin/start-yarn.sh

停止yarn: sbin/stop-yarn.sh 在sy-0355上執行以下命令:

啟動mr jobhistory server: sbin/mr-jobhistory-daemon.sh start historyserver

11 9 生產環境部署

fabric ca在整個證書管理環節中處於十分核心的位置。在生產環境中部署時,必須從多個方面進行考慮,以充分確保安全性 可靠性 規範性等指標。1.根證書的生成 根證書目前可以通過從權威機構 包括golbalsign verisign 申請,或採用自行簽名的方式生成。技術上來講,兩者都可以完成部署過程...

centos7 x64 mysql8生產環境部署

本文實戰講解生產環境centos7 x64下mysql8的二進位製包安裝部署,並相容低版本程式執行。版本選擇,如下圖 centos7 x64系統初始安裝均為最小化安裝,安裝mysql前先初始一些設定 a.關閉防火牆 檢視firewall狀態 root localhost systemctl list...

富士康急於為iPhone 13生產增聘20萬名工人

典型的季節性需求,加上異常激烈的員工競爭,意味著 iphone 13 裝配商富士康需要加緊招聘。面對能夠和有興趣從事製造業的勞動力的萎縮的現狀,蘋stynjrn果的 商們一直在爭相招聘員工。現在隨著下一部iphone上市的臨近,據說富士康還需要20萬名工人,並推出了新的快速招聘通道。據 南華早報 報...