hbase的檔案數和程序數優化

2021-07-02 03:41:55 字數 753 閱讀 1722

1、檔案數

ulimit -n 可檢視linux系統的開啟檔案數限制,推薦至少10000以上,一般是10240,因為最好是1024的倍數。

每個列族至少有乙個storefile,如果region載入,可能超過6個storefile,以下公式計算regionserver上開啟檔案的數量:

(storefiles per columnfamily) x (regions per regionserver)

假設每個region上有3個列族,平均每個列族有3個storefiles ,每個regionserver上有1000個region,那麼jvm需要開啟3*3*1000=9000個檔案,這還不包括jar檔案、配置檔案和其它檔案。

2、程序數

ulimit -u 檢視系統最大程序數(nproc,number of processes on the system)。這個數太小會導致記憶體溢位。

修改/etc/security/limits.conf檔案,如下:

hadoop - nofile 32768

hadoop - nproc 32000

表示hadoop使用者軟硬體(soft and hard)的最大開啟檔案數為32768,最大程序數為32000。

這個配置只能在pam(pluggable authentication module)使用者認證環境下應用。確保/etc/pam.d/common-session檔案包含以下語句:

session required pam_limits.so

linux 檔案數 進數優化,埠數優化

nginx想要支援高併發的配置一般是8核16g,最多支援的cpu是8核,多了也不能發揮其效能,要是想支援10w併發,在負載前面就要加一次lvs用4層再次負載。要新增2個配置,檔案開啟數,程序開啟數 限制使用者資源配置檔案 etc security limits.conf nofile 是修改開啟檔案...

修改Ubuntu18程序數檔案數限制

sudo vim etc security limits.conf在裡面增加如下內容 root soft nofile 10240 root hard nofile 10240 root soft noproc 10240 root hard noproc 10240注意前面不帶 其中,root是你...

linux 使用者開啟程序數和檔案數調整

root vm cdh4 ulimit u 14866臨時修改,重登入或重啟後失效 root vm cdh4 ulimit u 32768 root vm cdh4 ulimit u嘗試在 etc security limits.conf中加入下面的配置 soft nproc 32768退出當前使用...