Linux中hadoop安裝及配置詳解

2021-08-03 19:31:03 字數 2409 閱讀 5770

fs.defaultfs

hdfs:

hadoop.tmp.dir

/opt/hadoop/tmp

(七)修改檔案vi etc/hadoop/hdfs-site.xml,加入如下**:

其中dfs.namecode.name.dir 所對應的value值可以指定存放目錄,如果為多個目錄請用逗號隔開。同理於dfs.namecode.data.dir。

**如下:

dfs.replication

1dfs.namenode.name.dir

file:/opt/hadoop/tmp/hdfs/name

dfs.datanode.data.dir

file:/opt/hadoop/tmp/hdfs/data

(八)修改檔案vi etc/hadoop/mapred-site.xml.template ,如下加入**,並使用指令cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

**如下:

mapreduce.framework.name

yarn

(九)修改檔案vi etc/hadoop/yarn-site.xml,如下加入**

**如下:

yarn.nodemanager.aux-services

mapreduce_shuffle

配置基本完成。

(十)執行hadoop :

a.鍵入命令 hdfs namenode -format 初始化namecode

b.執行sbin目錄下的start-all.sh

其中會分別需要鍵入yes與y。

(十一)啟動完畢,可以通過瀏覽器訪問http://localhost:8088以及50070兩個埠,並會分別在瀏覽器中看到

如果,用遠端訪問該hadoop伺服器,請先確認伺服器是否聯網,然後關閉伺服器的防火牆(暫時關閉防火牆指令:service firewalld stop,永久關閉:systemctl disable firewalld.service),

然後遠端端通過伺服器ip訪問,即將localhost改為網段中伺服器的ip。

(十二)hadoop例項執行

a.進入hadoop安裝目錄。

b.通過指令 hdfs dfs -mkdir -p /user/本機使用者名稱/iput

c.通過指令檢視是否建立成功,如下圖所示:

警告可忽略。(上述的output目錄不予考慮,之後會解釋。)

d.通過指令 hdfs -put $hadoop_home/etc/hadoop/*.xml /user/root/input 將需要統計的檔案上傳到之前建立的input資料夾中。可檢視到如下的檔案:

警告可忽略。

e.執行測試jar 。鍵入**hadoop jar share/hadoop/mapreduce/

hadoop-mapreduce-examples-2.7.3.jar grep input output 『[a-z.]+』 注意空格,此處的output就是上述中看到的/user/root/output資料夾。

f.檢視output資料夾下資訊。

結語:

如果結果和上圖類似,hadoop的demo在linux上搭建已完成。ps:如果過程中出現錯誤資訊,請檢視hadoop安裝目錄中的logs資料夾裡面的cat logs/hadoop-root-datanode-localhost.localdomain.log ,搜尋error來處理異常。最後,祝你更上一層樓!

引用塊內容

Hadoop安裝及基礎環境配置

hadoop安裝 使用老師給的系統映像,選擇預設配置新建centos7linux虛擬機器 設定root管理員密碼,建立新賬戶 配置基礎環境 新增白名單 輸入ctrl alt f2開啟虛擬控制台 登入管理員使用者和密碼 輸入 vim etc sudoers 開啟etc資料夾下的sudoers檔案 找到...

Linux中Svn安裝及使用

推薦使用docker安裝svn伺服器 參見 svn客戶端安裝 yum install y subversion 參見 svn checkout svn svn update 1.svn提交檔案時發生衝突提示 skipped node remains in conflict 假設衝突檔案為 html ...

Hadoop學習之安裝Hadoop

1.用xftp工具將hadoop 2.7.2.tar.gz匯入到opt目錄下面的software資料夾 2.進入到hadoop安裝包路徑下 cd opt software 3.解壓安裝檔案到 opt module下面 tar zxvf hadoop 2.7.2.tar.gz c opt module...