Hadoop2 0新特性 持續追加 乾貨

2022-05-09 03:18:10 字數 1891 閱讀 8389

1、name node ha

2、name node federation

3、hdfs 快照(目錄快照)

4、hdfs 快取

5、hdfs acl 

6、異構層級儲存結構

1、namenode ha:

namenode分為主備節點,乙個為activenamenode,乙個為standbynamenode。

activenamenode作用:

1、master主節點,只有乙個;

2、管理hdfs 命名空間;

3、儲存資料塊與資料節點的對映關係,檔案與資料塊的對映關係;                    

4、配置副本策略;

5、處理客戶端請求;

standbynamenode作用:

1、namenode熱備;

2、定期合併元資料資訊,包括(fsimage和fsedits)。並且推送給activenamenode;

3、當activenamenode故障的時候,快速切換稱為新的activenamenode;

2、namenode federation:

多個namenode配合工作,每個namenode分管不同的hdfs目錄,共享所有的datanode資料節點。

3、hdfs 快照:

主要為防止使用者誤刪資料,和資料備份的作用

快照的物件為hdfs目錄,前提是該目錄是可以允許設定快照的(snapshotable)

啟用快照:bin/hdfs dfsadmin allowsnapshot

建立快照:bin/hdfs dfs -createsnapshot [snapshotname]

刪除快照:bin/hdfs dfs -deletesnapshot [snapshotname]

快照特性:唯讀,不可修改

4、hdfs 快取:

目的:讓高頻訪問的資料進行長期快取。

特性:1、僅支援目錄或檔案快取,不支援block級別

2、不支援自動快取

3、不會遞迴快取目錄下子目錄的所有檔案

4、可以設定快取時間

5、獨立管理記憶體,還沒有與yarn的資源管理進行整合,可能會有資源分配的衝突·

5、hdfs acl:

目標:提高hdfs目錄許可權管理的安全靈活性,原許可權管理類似linux作業系統模式的使用者、使用者組、其他組的目錄許可權管理。

配置:在namenode節點上配置,dfs.namenode.acls.enabled:true 

例子:hdfs dfs -setfacl -m user:tom:rw - /lab/user

hdfs dfs -setfacl -m user:lucy:rw - /lab/user

hdfs dfs -setfacl -m group:team2:r - /lab/user

hdfs dfs -setfacl -m group:team3:r - /lab/user   

6、hdfs 異構層級儲存結構

可為不同的資料目錄,配置不同的儲存介質類別,如磁碟、ssd 、ram,以滿足hadoop集群中不同計算框架,不同計算任務,不同效能要求的資料儲存需求。 

配置:dfs.datanode.data.dir

[disk]/dir1,[disk]/dir2,[ssd]/dir3,[ssd]/dir4

hdfs 提供api控制目錄檔案,寫到什麼介質,且能限制每個使用者對每種介質的可使用份額。

Hadoop1 0與Hadoop2 0的區別

hadoop1.0即第一代hadoop,指的是版本為apache hadoop 0.20.x 1.x或者cdh3系列的hadoop,核心主要由hdfs和mapreduce兩個系統組成,其中mapreduce是乙個離線處理框架,由程式設計模型 新舊api 執行時環境 jobtracker和tasktr...

hadoop1 0和hadoop2 0的區別

1.hadoop 1.0中的資源管理方案hadoop 1.0指的是版本為apache hadoop 0.20.x 1.x或者cdh3系列的hadoop,核心主要由hdfs和mapreduce兩個系統組成,其中,mapreduce是乙個離線處理框架,由程式設計模型 新舊api 執行時環境 jobtra...

ganglia監控hadoop2 0配置方法

ganglia監控hadoop2.0配置方法 前提 hadoop2.0集群已安裝ganglia監控工具 第一步 hadoop使用者登入集群每乙個節點,修改檔案 vi opt hadoop 2.0.0 cdh4.5.0 etc hadoop hadoop metrics2.properties 將檔案...