在實際的生產環境運維乙個hadoop集群有一些必須要關注的事情。
1、namenode的高可靠性
2、節點配置與管理
3、mapreduce的記憶體配置
4、啟用trash
首要的是保證資料安全可靠，其次再去考慮儲存效率、計算效率、運維效率的優化與提高，當你覺得hadoop集群的效能太差太差的時候，其實是你對hadoop的了解太少，hadoop的效率沒有被發揮出來。
資料的可靠性，可以通過高可用、高可靠的namenode，以及具體資料多副本來實現。啟用trash可以讓你在誤刪除資料之後快要絕望的時候給你反悔的機會，這個一定要啟動的，就算你設定的時間短一點都沒有關係，後悔藥就靠它了。
節點的配置就太多了，最為重要當屬不同配置的機器要有自己個性化的配置了，尤其是記憶體的配置最為重要。
mapreduce: 提高mapreduce效能的七點建議[譯]
hadoop學習總結之五：hadoop的執行痕跡
hadoop管理員的十個最佳實踐
hadoop平台優化綜述（一）
hadoop維護管理
hadoop集群管理之 namenode恢復
hadoop集群管理之 新增節點datanode
hadoop集群管理之 刪除節點
hadoop集群管理之 hadoop**站trash
2012華東運維技術大會的資料--hadoop運維經驗分享
hadoop-0.20.2 作業記憶體控制策略
hadoop-0.21.0公平排程器演算法分析
apache hadoop的mail list
cloudera cdh google group
運維那些事
運維，這裡指網際網路運維，通常屬於技術部門，與研發 測試 系統管理同為網際網路產品技術支撐的4大部門，這個劃分在國內和國外以及大小公司間都會多少有一些不同。乙個網際網路產品的生成一般經歷的過程是 產品經理 需求分析 研發部門開發 測試部門測試 運維部門部署發布以及長期的執行維護。對於初創公司，運維部...
運維那點事
前言 泛泛而談 最近一直在幫張琦老師弄一些課程安排的事情，也順便聊了聊現有培訓機制需要改革的方向，拒絕填鴨式的教育是當務之急，討論之餘寫下這篇文章，僅此紀念，別無他意。有競爭力的運維人員應該考慮什麼？且聽熊熊慢慢道來 執行的職能 包括減少系統宕機時間 依賴各種文件尋找解決方案 根據實際情況進行裝置更...
運維那點事
前言 泛泛而談 最近一直在幫張琦老師弄一些課程安排的事情，也順便聊了聊現有培訓機制需要改革的方向，拒絕填鴨式的教育是當務之急，討論之餘寫下這篇文章，僅此紀念，別無他意。有競爭力的運維人員應該考慮什麼？且聽熊熊慢慢道來 執行的職能 包括減少系統宕機時間 依賴各種文件尋找解決方案 根據實際情況進行裝置更...