hadoop的許可權控制

2022-09-02 10:42:08 字數 588 閱讀 4187

hdfs支援許可權控制,但支援較弱。hdfs的設計是基於posix模型的,支援按使用者、使用者組、其他使用者的讀寫執行控制許可權。在linux命令列下,可以使用下面的命令修改檔案的許可權、檔案所有者,檔案所屬組: 

hadoop fs –chmod (修改檔案所有者,檔案所屬組,其他使用者的讀、寫、執行許可權) 

haddop fs –chown  (修改檔案所有者) 

hadoop fs –chgrp   (修改檔案所屬組) 

不同使用者使用不同的linux帳戶即可訪問到特定檔案。 

啟動hadoop

hdfs系統的使用者即為超級使用者,可以進行任意的操作。 

需要注意的是:hdfs本身沒有提供使用者名稱、使用者組的建立,在客戶端呼叫hadoop 的檔案操作命令時,hadoop 識別出執行命令所在程序的使用者名稱和使用者組,然後使用這個使用者名稱和組來檢查檔案許可權。 

使用者名稱=linux命令中的`whoami`,而組名等於`bash -c groups `。 

根據上述原理來看hdfs的檔案系統許可權管理較弱。如果使用者知道hdfs name node 位址和埠號,在安裝hdfs客戶端後,使用和name node 相同的使用者名稱,即可獲取到所有檔案的訪問許可權。

平台搭建 hadoop生態的使用者許可權控制問題

在程式中指定spark和hadoop的使用者 sparksql利用hdfs的許可權控制表的讀許可權 大資料安全 ranger與sentry使用區別 apache ranger 統一授權管理框 apache ranger剖析 hadoop生態圈的安全管家 業務監控工具 sentry 的搭建與使用 se...

Hadoop許可權管理

1.hadoop許可權管理包括以下幾個模組 1 使用者分組管理。用於按組為單位組織管理,某個使用者只能向固定分組中提交作業,只能使用固定分組中配置的資源 同時可以限制每個使用者提交的作業數,使用的資源量等 2 作業管理。包括作業提交許可權控制,作業執行狀態檢視許可權控制等。如 可限定可提交作業的使用...

hadoop副本控制

在hadoop hbase分布式集群中,有引數來控制資料副本,在hadoop的conf目錄下,hdfs site.xml中的屬性dfs.replication可以明確指明副本數目。但是在實驗中,儘管將每個節點上的dfs.replication屬性都設定為1,但是實際資料的副本還是為3。經過多次實驗,...