hdfs：hdfs-site.xml中的dfs.namenode.handler.count=20 * log2(cluster size)，比如集群規模為 8 台時，此引數設定為 60，該引數決定有多少執行緒數用來處理不同 datanode 的併發心跳以及客戶端併發的元資料操作
yarn：yarn-site.xml 中的yarn.nodemanager.resource.memory-mb，該引數決定yarn能使用的最大物理記憶體總量，預設是 8192（mb），yarn不會檢測物理機記憶體大小，需要手動指定。yarn.scheduler.maximum-allocation-mb是單個任務申請的最大物理記憶體，預設是 8192（mb）
該引數面臨問題：資料統計主要用 hivesql，沒有資料傾斜，小檔案已經做了合併處理，開啟的 jvm 重用，而且 io 沒有阻塞，記憶體用了不到 50%。但是還是跑的非常慢，而且資料量洪峰過來時，整個集群都會宕掉，很明顯是記憶體利用率不夠
Hadoop引數調優
1 要注意namenode和datanode的通訊，有乙個引數可以提公升他們通訊的順暢度 即20logn，n為集群大小 2 注意把hdfs的namenode 檔案edits 日誌檔案 和fsimage 映象檔案 配置在不同目錄下。可以提公升namenode效能 3 基準測試 測試hdfs的寫 讀效能...
hadoop的引數調優
1，在hdfs site.xml 中配置多目錄，提前配置好，以免以後要配置時，需要重啟集群。2，namenode 有乙個工作執行緒池，用來處理不同的datanode的併發心跳和客戶端訪問併發請求。配置dfs.namenode.handler.count 20 log2 cluster size 比如...
hadoop 引數調優重點引數
yarn的引數調優,必調引數 28 yarn.nodemanager.resource.memory mb 預設為8192。每個節點可分配多少物理記憶體給yarn使用，考慮到節點上還 可能有其他程序需要申請記憶體，該值設定為物理記憶體總數 1.3比較合適，例如128g記憶體的節點可以分配100g 3...