搭建hadoop偽分布式(二)

2021-07-31 06:01:25 字數 699 閱讀 8318

只是配置好了hadoop還不行  還要配置ssh 免秘鑰登入  

因為namenode要遠端登入到datanode上進行控制 

即便是偽分布式  要是自己登入自己機器

1 安裝 ssh 

# yum -y install openssh-server openssh-clients

2 生成公鑰和私鑰

# ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa   (注意 p是大寫)

進入目錄  # cd ~/.ssh

將公鑰 匯入到秘鑰庫  其實就是個複製檔案  

# cp id_rsa.pub  authorized_keys

測試# ssh localhost  如果不用再輸入密碼了 則成功

啟動hadoop   

1  namenode格式化

# hadoop namenode -format

2 啟動hadoop程序 

# start-all.sh

3 檢視程序   

#  jps

1412 namenode

1910 nodemanager

1499 datanode

1676 secondarynamenode

1821 resourcemanager

有以下5個程序就ok了

hadoop偽分布式搭建

因為hadoop偽分布式我已在本地搭建並且執行成功。為了加快學習不足同時分享搭建。直接將不足貼出來,如有不同意見還忘評價共同提公升。hadoop 偽分布模式 hdfs yarn 另外補充下 hadoop2.0之後不包含mapreduce 環境搭建準備 1,vmware 安裝 如果你使用的事virtu...

Hadoop偽分布式搭建

已經部署好的 hadoop 單機模式環境 1 切換到 usr local hadoop 2.7.3 etc hadoop 目錄,需要修改如下配置 1 etc hadoop core site.xml 指定namenode的位址 fs.defaultfs hdfs localhost 9000 用來指...

Hadoop偽分布式搭建

單機環境 可以直接執行mareduce examples.jar案例 偽分布式 乙個伺服器上執行多個程序 hdfs 偽分布式配置 hadoop配置檔案的配置 a,配置核心檔案 路徑 opt module hadoop 2.7.5 etc hadoop 配置 vim core site.xml fs....