hadoop 集群執行任務出現 too many open files 32768 ，我們伺服器配置的是65536並沒有生效。導致datanode服務卡住跟namenode節點通訊異常，namenode認為datanode節點已dead下線，實際datanode程序沒死，恢復正常後嘗試連線namenode,datanode 一直拿著失效kerberos票據去訪問namenode（票據更新週期為一天），其它服務連線這台伺服器會失敗。
1.在/etc/security/limits.d/下找到了cloudera的limit配置檔案，裡面限制為32768
/etc/security/limits.d/cloudera-scm.conf
[root@xx limits.d]# cat cloudera-scm.conf
cloudera-scm soft nofile 32768
cloudera-scm soft nproc 65536
cloudera-scm hard nofile 1048576
cloudera-scm hard nproc unlimited
cloudera-scm hard memlock unlimited
2.檢視datanode程序的open files限制為32768
3.32768會覆蓋系統配置，cm啟動的程序最大開啟檔案數都是32768.要修改這個配置，需要修改cm安裝的沒個服務的最大檔案描述符
重啟後生效,如下
mysql 檔案描述符 檔案描述符
toc 首先，linux的世界裡一切皆為檔案，無論是裝置還是乙個socket連線。檔案又可分為 普通檔案 目錄檔案 鏈結檔案和裝置檔案。檔案描述符 file descriptor 是核心為了高效管理已被開啟的檔案所建立的索引，其是乙個非負整數 通常是小整數 用於指代被開啟的檔案，所有執行i o操作的...
linux系統檔案描述符
了解個東西叫fd 檔案描述符，也就是window系統下的hwnd控制代碼。fd 是用乙個數字表示的。系統中維護了每個使用者，程序，系統級別的使用者檔案描述符數量許可權限制，即乙個程序可以開啟多少個檔案描述符，乙個使用者可以可以開啟多少個檔案描述符，乙個程序可以開啟多少個檔案描述符。以下命令可以檢視系...
檔案描述符
檔案描述符 是個很小的正整數，它是乙個索引值，指向核心為每乙個程序所維護的該程序開啟檔案的記錄表。檔案描述符的優點 相容posix標準，許多 linux 和unix 系統呼叫都依賴於它。檔案描述符的缺點 不能移植到unix以外的系統上去，也不直觀。基於檔案描述符的輸入輸出函式 open 開啟乙個檔案...