最近由於執行了兩年多的hadoop集群，硬碟故障的現象愈加頻繁，故開始著手更換集群磁碟，但是所有的datanode的磁碟都不是熱插拔的，導致，必須關機，卸開伺服器然後更換磁碟。
經過這次之後，我想非常有必要專門總結一下hadoop集群的伺服器選擇問題。
1. 硬碟更換方便： 硬碟是主要耗材， 伺服器最好是具有熱插拔硬碟能力的。
2. 專門的硬碟安裝系統： 作為hadoop datanode節點的伺服器，其主要功能就是儲存、計算。其對硬碟的讀寫壓力較大，較容易造成磁碟故障。因此非常有必要將系統磁碟，單獨用一塊磁碟來安裝。比如可以配置一塊300gb的sas作為系統盤，這樣就避免了，如果系統與hdfs資料儲存分割槽共用時，故障磁碟的更換會影響到作業系統。
3. 合適的硬碟大小配置：datanode主要需要較高的io能力，而io能力又與磁碟的個數有關，因此，在採購伺服器的時候，可以選擇支援較多硬碟的伺服器型別。另，從運維部門的同學那裡了解到，越大的磁碟的磁碟故障率要高一些，這個在採購磁碟的時候，要根據自己實際需要，也要考慮一下。
4. cpu個數：這個要根據集群的用途來選擇。如果是資料密集型的，可以適當降低對cpu的要求，反之要盡量選擇多核，並行能力強的cpu。
5. 配置遠控卡：最好將遠端控制卡作為標配配置到資料中心的每台伺服器上。最近，在資料中心的一台做了raid5的伺服器上，發現磁碟唯讀，但是卻不能確定是哪塊磁碟有故障，導致後來只能通過軟體修復磁碟資料，隨機更換一塊磁碟來處理。
6. 交換機要有頻寬擴充套件功能：之前，我們發現高峰階段集群內網間的流量已經跑滿交換機，導致資料通訊阻塞。但是我們發現我們的千兆交換機卻不具有頻寬擴充套件能力，因此又重新採購了３個交換機，一主兩從，分別用４根網線連線到主交換機，這樣將內網頻寬擴充套件到４０００mb。
7. 線纜標準一定要達標：伺服器都是千兆網絡卡，6類網線還是有必要的。
以上是現在能想到的一些注意點。
Hadoop 伺服器集群搭建
背景簡介 伺服器分類 體型 小型機 大型機 x86伺服器 pc server 品牌 ibm hp dell 曙光 浪潮等 x86伺服器中有 ibm hp dell 曙光 浪潮 重要元素 cpu 核數4 6 8 10.記憶體 成對出現 硬碟 等 實驗真是場景下搭建伺服器集群,最終效果,通過遠端或在某區...
集群伺服器
集群，英文名稱為cluster，通俗地說，集群是這樣一種技術 它將多個系統連線到一起，使多台伺服器能夠像一台機器那樣工作或者看起來好像一台機器。採用集群系統通常是為了提高系統的穩定性和網路中心的資料處理能力及服務能力。舉個例子來說，我們架設了一台www伺服器，上面構建了乙個電子商務 然而隨著時間的推...
Hadoop歷史伺服器配置以及日誌管理
前言 先說一下配歷史伺服器的作用 可以幫助我們檢視hdfs後hue上的日誌，更好的分析和解決問題 先在hadoop的配置檔案mapred site.xml中新增下面內容 mapreduce.jobhistory.address node01 10020 node02 19888 在配置日誌聚集功能配...