冗餘副本策略高可靠的體現冗餘:重複，指認為新增重複部分，其某地是對原來單一部分進行備份。
可以指定資料檔案的副本數量，預設是3；
保證所有的資料塊都有副本，不至於在乙個datanode宕機後，資料的丟失。
機架策略 集群一般放在不同機架上，機架間頻寬要比機架內頻寬要小；
hdfs具有「機架感知」能力，它能自動實現在本機架上存放乙個副本，然後在其它機架再存放另一副本，這樣可以防止機架失效時資料丟失，也可以提高頻寬利用率。
心跳機制 namenode週期性從datanode接收心跳訊號和塊報告，namenode根據塊報告驗證元資料；
namenode對沒有按時傳送心跳的datanode會被標記為宕機，不會再給它任何i/o請求；
datanode失效造成副本數量下降，並且低於預先設定的閾值，namenode會檢測出這些資料塊，並在合適的時機迕行重新複製；
引發重新複製的原因還包括資料副本本身損壞、磁碟錯誤，複製因子被增大等。
hadoop知識點總結
一 hadoop的內建資料型別都實現了writablecompareable，以便序列化和網路傳輸及檔案儲存 a自定義資料型別作為輸入 1.實現writable介面 2.如果給資料需要比較大小時，實現writablecompareable介面 b資料輸入格式和recordreader 資料輸入格式 ...
Hadoop相關知識點
乙個分布式計算平台，以hadoop分布式檔案系統 hdfs mapreduce為核心。易擴充套件 方便向集群中新增節點。可靠 容錯 多個副本。高效 在節點間動態移動資料。hdfs mapreduce yarn common。zookeeper hive hbase pig。輸入資料 切片 map s...
hadoop （1）hadoop核心知識點總結
1 安裝hadoop需要配置的hadoop中的配置檔案有哪些?2 hadoop的核心模組和相應的程序 hdfs namenode,datanode,secondarynamenode,namenodemanager,datanodemanager 3 secondarynamenode的作用 如果執...