DKHadoop安裝的環境準備介紹

2021-09-19 21:27:09 字數 1030 閱讀 4683

前幾天去參加了乙個線下的聚會,參加聚會的基本都是從事網際網路工作的。會上有人提到了區塊鏈,從而引發了一場關於大資料方面的**。我也是從去年才正式接觸大資料,一直在學習hadoop。相信接觸過hadoop的人都知道,。單獨搭建hadoop裡每個組建都需要執行環境、修改配置檔案、測試等過程,每個元件幾乎都有坑,尤其是讓新手甚是苦惱。此前有在微博上與一些博友了解過他們的配置過程,有的配置了好幾天愣是沒成功。

hadoop執行環境配置的坑只有走過的人才懂,不過發現了乙個比較有意思的國產hadoop發行版——大快的dkh發行版dkhadoop。dkhadoop將開源社群裡多種常用組建包括:hdfs,hbase,storm,flume,kafka,mahout,es等都整合到了這乙個平台裡,所以整個執行環境的配置安裝就大大被簡化了。

我把此前安裝的過程整理了一下分享給感興趣的朋友,主要分為:準備階段、伺服器作業系統配置、dkh系統安裝、常見問題解決方法四個部門。由於文章偏於較長,本篇重點為大家分享第一部分——準備階段。

第一部分:準備工作

1ãâ大資料平台所需配置:

(1) 系統:centos 6.5 64位(需預設安裝desktop)

(2) cpu :intel e3及以上。

(5) 系統分割槽要求: 如無特殊需求,除swap分割槽外,可將剩餘空間全部分配 到/ (根) 分割槽

(6) 網路要求:如無特殊情況,盡量可以接入外網。

(7) 至少三颱伺服器(三颱伺服器名字任意起,密碼須一致)。

(8)安裝使用root使用者作為預設使用者

2ãâ遠端上傳和遠端連線工具:

ï¼1ï¼â 

若直接使用個人pc開啟的虛擬機器作為伺服器的基礎,直接拷貝到虛擬機器下即可。

ï¼2ï¼â 

若是使用機房伺服器作平台搭建的伺服器,如若不能直接接觸到伺服器,則需要使用遠端工具連線並傳送安裝包

hbase 安裝環境準備

本機建立三個虛擬機器,hostname ipname password centos2 192.168.75.101 root root123 centos3 192.168.75.102 root root123 centos4 192.168.75.103 root root123 1.修改ho...

pyqt環境安裝準備

7 其實linux環境的安裝可以說是最簡單,因為自己使用的debian作業系統提供了自動化安裝apt,但是出於安裝可能面臨無網環境的考慮,盡量用原始碼安裝比較穩妥。目前計畫選擇的版本是pyqt5.3 py3.4 qt5.3.0,sip直接選擇最新的版本。選擇這些版本的主要理由是windows環境,我...

準備SAP安裝環境

很多sap basis比較偏愛選擇suse for sap作業系統,因為比較省事。但是選redhat的人也很多。如下例子是,在一台物理機上準備sap安裝環境,作業系統是redhat 6.6。操作過程參考sap notes 1496410 先登入 然後對映iso映象 選第乙個 注意system clo...