Hadoop 安裝教程

2021-08-04 23:50:35 字數 1325 閱讀 2534

一、建立hadoop使用者

#


建立新使用者hadoop 並使用 /bin/bash 作為shell


useradd -m hadoop -s /bin/bash


#修改密碼


passwd hadoop
二、增加管理員許可權
visudo
root all=(all) all下增加一行hadoop all=(all) all

三、安裝並配置ssh無密碼登陸

#


預設已安裝


rpm -qa | grep ssh#測試


ssh localhost
配置成ssh無密碼登陸

#


若沒有該目錄，請先執行一次ssh localhost


cd ~/.ssh/ 


#會有提示，都按回車就可以 


ssh-keygen -t rsa 


#加入授權 


cat id_rsa.pub >> authorized_keys 


#修改檔案許可權


chmod 600 ./authorized_keys
四、安裝hadoop
# 列出md5檢驗值


head -n 6 hadoop-2.7.2.tar.gz.mds


# 計算md5值，並轉化為大寫，方便比較


md5sum hadoop-2.7.2.tar.gz | tr "a-z"


"a-z"


# 解壓到/usr/local中


sudo tar -zxf hadoop-2.7.2.tar.gz -c /usr/local


cd/usr/local/


sudo mv hadoop-2.7.2/ hadoop


sudo chown -r hadoop:hadoop


./hadoop
測試

cd


/usr/local/hadoop


mkdir ./input


# 將配置檔案作為輸入檔案


cp ./etc/hadoop/*.xml


./input


./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input


./output 'dfs[a-z.]+'


# 檢視執行結果


cat ./output/*

hadoop2 7 2安裝部署教程

參考部落格 1.配置命名服務 hdfs site.xml qjournal 位址加埠，機器以分號相隔 dfs.client.failover.proxy.provider.hearain org.apache.hadoop.hdfs.server.namenode.ha.configuredfail...

CentOS下的Hadoop安裝教程

首先答謝 感謝給力星所寫文章的幫助 本安裝教程分為兩大塊內容，一是基本的安裝步驟，二是查閱的命令解釋等，以期達到知其然亦知其所以然的目的 一 基本的安裝步驟 1 建立hadoop使用者，2 準備工作，3 安裝hadoop 1 建立hadoop使用者，還牽扯到為hadoop使用者增加管理員許可權的知識...

window 下安裝Hadoop2 7 2教程

fs.defaultfsname hdfs localhost 9000value property configuration hdfs site.xml dfs.replicationname 1value property dfs.namenode.name.dirname file hado...