dfs.namenode.handler.count=20 * log2(cluster size)，比如集群規模為8台時，此引數設定為60
a）yarn.nodemanager.resource.memory-mb
表示該節點上yarn可使用的物理記憶體總量，預設是8192（mb），注意，如果你的節點記憶體資源不夠8gb，則需要調減小這個值，而yarn不會智慧型的探測節點的物理記憶體總量。
b）yarn.scheduler.maximum-allocation-mb
單個任務可申請的最多物理記憶體量，預設是8192（mb）
1 如果是mr造成系統宕機
控制yarn同時執行的任務數，和每個任務申請的最大記憶體
2 寫入檔案過量造成namenode宕機
調高kafka的儲存大小，控制從kafka到hdfs的寫入速度。高峰期的時候用kafka進行快取
一些調優引數
select sum pins reloads sum pins lib cache from v librarycache 查詢sql 分析解析率，大於90 說明sql解析正常，無需更改，至於更改方法，研究中 select sum gets getmisses sum gets hit from ...
hadoop的一些基本用法
1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user susu 3 將本地檔案儲存至hadoop hadoop fs put 本...
WAS的一些重要調優引數
在著手進行 應用程式 伺服器的優化之前，首先進行 應用程式和操作 系統的優化是乙個更好的選擇。尤其是應用程式的優化，通過對應用程式中影響 效能的部分進行重新的設計和調整，往往能夠帶來比單純的引數調優更為巨大的效能提公升。對於一般的j2ee應用程式而言，was中最重要的優化引數包括針對jvm web ...