Hadoop HDFS配置引數

2021-07-15 23:10:34 字數 1074 閱讀 8200

hadoop大資料入門:hdfs配置引數,1.許可權檢查配置,2.web伺服器使用者許可權配置,3.其他相關配置

1.許可權檢查配置

乙個非常重要的許可權配置就是許可權檢查,可以通過dfs.permissions配置引數進行配置,**如下:

dfs.permissions = true

如果是true,則開啟許可權檢查系統;如果是false,許可權檢查就是關閉的,但是其他行為沒有改變。這個配置引數的改變並不改變檔案或目錄的模式、所有者和組等資訊。

不管許可權模式是開還是關,chmod、chgrp和chown總是會檢查許可權。這些命令只有在許可權檢查背景下才有用,所以不會有相容性問題。這樣就能讓管理員在開啟常規的許可權檢查之前可以放心地設定檔案的所有者和許可權。

2.web伺服器使用者許可權配置

同樣可以對web伺服器的使用者進行配置,使用dfs.web.ugi引數,**如下:

dfs.web.ugi = webuser,webgroup

此引數用於設定web伺服器使用的使用者名稱,如果將這個引數設定為超級使用者的名稱,則所有web客戶就可以看到所有的資訊。如果將這個引數設定為乙個不使用的使用者,則web客戶就只能訪問到other許可權可訪問的資源。額外的組可以加在後面,形成乙個用逗號分隔的列表。

需要注意的是namenode並沒有真實使用者的概念,但是web伺服器表現得就像它具有管理員選定的使用者的身份(使用者名稱和組)一樣。除非這個選定的身份是超級使用者,否則會有命名空間中的一部分內容對web伺服器來說不可見。

3.其他相關配置

(1)超級使用者的組名

dfs.permissions.supergroup = supergroup

應用在defaultpermission中,是系統的超級組。

(2)公升級時的初始模式

dfs.upgrade.permission = 777

檔案永不會被設定x許可權。在配置檔案中,可以使用十進位制數511。

(3)umask引數

dfs.umask = 022

umask引數在建立檔案和目錄時使用。在配置檔案中,可以使用十進位制數18。

(4)使用者檔案屬主和檔案組

hadoop.job.ugi

cuug官網

Hadoop HDFS安裝 環境配置

hadoop安裝 進入xftp將 hadoop 2.7.3.tar.gz 複製到自己的虛擬機器系統下的放軟體的地方,我的是 soft software 在虛擬機器系統裝軟體檔案裡,進行解壓縮並重命名 進入profile.d進入 hadoop 環境變數配置 配置環境並使之成為全域性變數 儲存,expo...

Hadoop HDFS 掉線時限引數設定

datanode程序死亡或者網路故障造成datanode無法與namenode通訊時,namenode不會立即把該節點判定為死亡,要經過一段時間,這段時間暫稱作超時時長。hdfs預設的超時時長為10分鐘 30秒。如果定義超時時間為timeout,則超時時長的計算公式為 timeout 2 dfs.n...

Hadoop HDFS資料組織

hadoop培訓內容 hdfs資料組織,1.資料塊,2.staging,3.流水線式的複製 1.資料塊 hdfs最適合的應用場景是處理大資料集合,同時這些應用多是一次寫入多次讀取,並且讀的速度要滿足流式讀,即write once read many的語義。乙個典型的block大小是64mb,因此檔案...