HDFS詳細分析二

2022-03-31 11:18:43 字數 870 閱讀 7549

1)hdfs讀過程

distributedfilesystem -> fsdatainputstream -> dfsclient.open(rpc通訊機制) -> nn.open

hdfs寫過程

distributedfilesystem -> fsdataoutputstream -> dfsclient.create(rpc通訊機制) -> nn.create

2)secondarynamenode的作用與機制

secondarynamenode不是完全意義上的namenode的乙個備份

拉取fsimage和edits檔案在snn的記憶體中進行合併

fs.checkpoint.period

fs.checkpoint.size

fs.checkpoint.dir

checkpoint node (和secondarynamenode一致,hadoop2中secondarynamenode已被此替代)

backup node 完全意義上的namenode備份

3)一旦丟失namenode或者元資料資訊,我們可以通過secondarynamenode的檢查點目錄回覆我們的元資料資訊

hadoop namenode -importcheckpoint

hadoop-daemon.sh start namenode

4)機架感知

預設情況下所有的datanode認為是處於同乙個機架,不管物理上是否處於用乙個機架

/default-rack

如果需要配置真正的網路拓撲結構,需要配置以下檔案:

topology.script.file.name屬性值是乙個指令碼,這個指令碼裡面寫的是真正意義上的網路拓撲結構

/d1/reck1/dn1

const詳細分析

最近在分析 linux 驅動的過程過程中遇到一些關於 const 的使用,現在在這裡詳細剖析一下 一,const int p 首先分析一下幾個概念 1 p 是乙個指標變數,因而它也是乙個變數,所謂變數就有變數的位址和變數的值,而這裡 p變數的值就是乙個位址,該位址下存放的是乙個整數,p的值等於這個整...

約數詳細分析

約數詳細分析 我們先來認識一下約數 約數分正約數和負約數兩種,我們一般只討論正約數。也就是說,接下來所提的約數,只考慮正約數。如果有乙個數k,滿足k n,那麼k就是n 的約數 因數 n是k的倍數。求乙個數的約數是資訊學競賽裡乙個基礎的不能再基礎的問題。如果只求乙個數,最容易想到的就是列舉。當然列舉也...

vue cli 詳細分析

vue lic 是 vue 官方提供的腳手架工具,預設搭建好乙個專案的基本架子,我們只需要在此基礎上進行相應的修改即可。注意 安裝 vue cli 前需要事先配置好 node 環境 npm install g vue cli 如果是 mac 電 sudo表示以管理員的許可權 sudo install...