HDFS 機架感知

2021-09-29 08:02:18 字數 817 閱讀 9503

實際上需要工程師收到建立乙個指令碼(python sh ),指令碼中記錄主機ip和交換機的對應關係

配置的位置是core-site.xml最終新增如下配置

#!/usr/bin/python  

#-*-coding:utf-8 -*-

import sys

rack =

if __name__=="__main__":

print "/" + rack.get(sys.ar**[1],"sw6300-1-2")

使用以下命令驗證

[root@node01 sbin]# python rackaware.py 12.12.3.1

/sw6300-1

[root@node01 sbin]# python rackaware.py 12.12.3.25

/sw6300-2

[root@node01 sbin]# python rackaware.py 12.12.3.75

/sw6300-4

[root@node01 sbin]# python rackaware.py 12.12.3.100

/sw6300-1-2

編輯core-site.xml配置檔案,將指令碼配置為topology.script.file.name的值

topology.script.file.name

hdfs 機架感知

client 向 active nn 傳送寫請求時,nn為這些資料分配dn位址,hdfs檔案塊副本的放置對於系統整體的可靠性和效能有關鍵性影響。乙個簡單但非優化的副本放置策略是,把副本分別放在不同機架,甚至不同idc,這樣可以防止整個機架 甚至整個idc崩潰帶來的錯誤,但是這樣檔案寫必須在多個機架之...

hadoop 三 hdfs 機架感知

client 向 active nn 傳送寫請求時,nn為這些資料分配dn位址,hdfs檔案塊副本的放置對於系統整體的可靠性和效能有關鍵性影響。乙個簡單但非優化的副本放置策略是,把副 本分別放在不同機架,甚至不同idc,這樣可以防止整個機架 甚至整個idc崩潰帶來的錯誤,但是這樣檔案寫必須在多個機架...

HDFS的機架感知策略

機架感知是一種計算不同計算節點 tt 的距離的技術,用以在任務排程過程中儘量減少網路頻寬資源的消耗,這裡用盡量,想表達的是當乙個tt申請不到本地化任務時,jt會盡量排程乙個機架的任務給他,因為不同機架的網路頻寬資源比同乙個機架的網路頻寬資源更可貴。當然,機架感知不僅僅用在mr中,同樣還用在hdfs資...