Impala 管理 准入控制

2021-10-02 05:46:52 字數 868 閱讀 4630

​ 准入控制是impala 的乙個功能,為的是避免對乙個繁忙的cdh集群產生過多的記憶體壓力。

​ 准入控制是乙個輕量級的去中心化的系統,它適用於負載主要是impala查詢的集群,它以軟限制的方式去控制impala 相對穩定的方式去使用記憶體,而不是要麼執行要麼取消的方式限制資源的使用。

​ 但是准入控制並不像yarn 那樣那麼了解集群的整體負載情況,所以我們可以將yarn 和 llama 一起使用,llama 是乙個介於yarn 和impala 的媒介。

​ 如果我們沒有啟動 llama, impala 會使用准入控制單獨控制資源管理,我們可以配置:記憶體限制,查詢佇列大小,超時佇列;

​ 如果啟動了llama,yarn將通過llama來控制impala 的資源管理,我們可以配置:查詢佇列大小, 超時佇列,此時記憶體限制由yarn 動態分配。

怎麼配置准入控制

​ 通過cloudera manager 來配置一系列引數,記憶體限制、查詢佇列大小、超時佇列、併發查詢限制等,不通過cloudera manager 的話,只能手動修改配置檔案,比較麻煩。

使用准入控制指導原則

​ 准入控制只是impala 的軟限制,特殊情況還是有可能超出這個限制,例如瞬時驟增的查詢請求。

後備方案是使用linux 的cgroups 機制來硬性的限制記憶體的使用,防止記憶體過載的情況出現。

impala本身不是高可用的,它只是有很多節點供我們自己選擇使用,但是如果我們連線的那個節點崩潰,我們只能手動換乙個節點或者等待節點恢復,這就有點不太好。所以官方給出了乙個建議,使用**通過負載均衡的技術來實現impala的高可用,官方了鏈結在此,可以試著弄一下:

AC Campus准入控制 Mac

mac位址認證是一種基於埠和mac位址對使用者的網路訪問許可權進行控制的認證方法。它不需要使用者安裝任何客戶端軟體,使用者名稱和密碼都是使用者裝置的mac位址。網路接入裝置在首次檢測到使用者的mac位址以後,即啟動對該使用者的認證。根據接入裝置最終用於驗證使用者身份的使用者名稱格式和內容的不同,可以...

kubectl認證 授權 准入控制

kubernetes 認證及serviceaccount 服務賬號 kubernetes中apiservice是唯一訪問的入口 認證 授權 准入控制 認證方式 token ssl kubect和node都要雙向認證 k8s1.6以上增加了rbac認證,授權檢查 kuberadm是強制使用kubera...

准入控制 NAC 技術調研

策略路由模式,要求網路基礎設施的核心裝置 例如核心交換機 支援策略路由功能。交換機通過策略路由的將報文定向到網路接入控制系統,經由網路接入控制系統針對終端的可信程度進行認證和判定後,採用丟棄或者正常 到原路由下一跳的。另外,大多數支援策略路由的核心裝置同時也支援逃生模式,核心裝置在確認策略路由的下一...