CHDFS 安全便捷的大資料訪問體驗

2022-06-17 22:45:12 字數 2245 閱讀 4864

一、背景

chdfs 主要解決大資料場景下海量資料儲存和資料分析,能夠為大資料使用者在無需更改現有**的基礎上,將本地自建的 hdfs 檔案系統無縫遷移至具備高可用性、高擴充套件性、低成本、可靠和安全的 chdfs 上。以此實現存算分離,實現計算節點可動態的擴縮容。

因此 chdfs 主要的使用者群體是大資料體系的研發人員,為了滿足使用者在傳統的 hadoop 環境下的使用習慣,同時滿足使用者的許可權需求,chdfs 通過以下措施,提供了安全便捷的大資料訪問體驗。

二、**管控

1、新建許可權組,並在許可權組中指定 vpc(必須本賬戶下的 vpc)。

2、在許可權組裡面新增規則,授予 vpc 網段裡的某乙個子網段的唯讀或者讀寫許可權。同乙個許可權組中的多條規則,根據優先順序來確定許可權。

3、在檔案系統的掛載點中繫結許可權組,乙個檔案系統可以繫結多個許可權組,請求滿足任何乙個許可權組的規則,即獲得相應的訪問許可權。

三、posix 許可權與超級使用者

chdfs 相容 hdfs 的 posix 的許可權規則,該許可權規則和 linux 檔案系統的的規則類似。即每一層的目錄和檔案都有 user,group 與 other 許可權(rwx)。整個許可權規則可簡述如下:

1、使用者執行 hadoop 命令列或者執行某個大資料 job

2、job 執行中需要訪問 chdfs 的某個路徑, 即以執行程序的使用者身份與組身份訪問 chdfs 的某個路徑。

3、chdfs 從根據訪問的路徑,從根目錄開始,層層檢查。如果使用者名稱匹配檔案或者目錄的使用者名稱,則擁有檔案和目錄的 user 許可權,如果使用者組名匹配,則擁有 group 許可權,否則只擁有 other 許可權。

4、對於目錄要進入下一層,必須擁有 x 許可權,對於目錄下建立刪除檔案必須擁有 w 許可權,對於列出目錄下的檔案,必須有 r 許可權。

5、對於讀取檔案,必須要有 r 許可權,對於修改檔案必須有 w 許可權。

對於普通使用者,使用以上的許可權規則進行校驗,但同時 chdfs 也支援了超級使用者, 超級使用者擁有對檔案目錄的一切操作許可權,適用於配置管理員。

posix 的許可權開關與超級使用者的設定,可以在新建檔案系統時,或者在後續在檔案系統屬性下編輯。

四、接入 hadoop ranger 許可權體系

hadoop ranger 作為一站式的許可權體系解決方案, 不僅支援儲存端許可權管控,還支援 yarn,hive 等元件許可權管控。因此,為了維持客戶的使用習慣,我們提供了 chdfs 的 ranger 接入解決方案,方便客戶使用 ranger 來進行 chdfs 的許可權管控。chdfs 接入 ranger 許可權體系的架構如下所示

我們在 ranger admin 控制中心,註冊 chdfs 服務的相關資訊,並配置 chdfs 的服務後,即可配置 chdfs 的相關許可權 policy,如下所示。

chdfs 外掛程式端開啟進行 ranger 鑑權後,即會把所有訪問 chdfs 的請求**給 cos ranger service 進行鑑權, cos ranger service 根據從 ranger admin 拉取 policy,進行許可權檢查。有關 chdfs 接入 ranger 許可權的配置說明,請參考 chdfs 控制台文件。

五、總結

chdfs 作為雲端託管的大資料儲存,從設計之初,就充分考慮了 hdfs 使用者的使用習慣。通過提供限制** vpc、ip 網段、posix 鑑權、超級使用者等特性,並支援接入 hadoop ranger 許可權體系。方便客戶的同時,也充分的保證了安全性與靈活性。

便捷的安全檢測

使用iiscan,會讓您及時了解 的安全情況 使用iiscan,會讓您輕輕鬆鬆進行安全測試 使用iiscan,會讓您 安全航駛在網際網路。而這一切,不需要您任何的硬體支援 不需要您擁有高深的安全知識 更不需要花費您一分錢。了解 安全情況 安全隱患主要源自 本身存在的程式漏洞,類似 上傳漏洞 sql注...

大資料安全規範

大資料安全規範 大資料的安全體系分為五個層次 周邊安全 資料安全 訪問安全 認證 authentication和授權 authorization 訪問行為可見 錯誤處理和異常管理。下面依次說明 1.周邊安全技術即傳統意義上提到的網路安全技術,如防火牆等 2.資料安全包括對資料的加解密,又可細分為儲存...

大資料下的資訊保安

在人們享受網際網路帶來的便捷和高效時,有一批 人將其 伸向了 領域,他們利用某些 的技術和業務漏洞進行作弊,從而滿足自 己的灰色利益需求。惡意傳播色 情 詐騙 謠言 暴力等不正當資訊,給網際網路環境造成了很大的威脅。隨著作弊場景和手法的不斷變化,各個維度的安 全技術也在不斷公升 級保護正常使用者免受...