Hadoop安裝步驟

2021-09-24 19:26:27 字數 1775 閱讀 1700

二、解壓

tar -zxvf hadoop-3.0.3.tar.gz
三、配置環境變數

1、設定環境變數 在/etc/profile下,新增:

export hadoop_home=/opt/hadoop

export path=$path:/opt/hadoop/bin:/opt/hadoop/sbin

2、source /etc/profile ,來立即生效。
. .bashrc
3、驗證 hadoop version四、配置

hadoop需要配置四個檔案,進入的目錄都在hadoop路徑/etc/hadoop

這個引數設定為1,因為是單機版hadoop

4、 yarn-site.xml

yarn.resourcemanager.hostname

localhost

yarn.nodemanager.aux-services

mapreduce_shuffle

五、啟動服務

先格式化,再啟動:

hdfs namenode -format
start-all.sh 將會看到:

hadoop namenode

hadoop datanode

yarn resourc manager

yarn node manager

六、hdfs應用

1、通過即可檢視集群所有節點狀態:

2.、訪問http://localhost:9870/即可檢視檔案管理頁面:

注:在之前的版本中檔案管理的埠是50070,在3.0.0中替換為了9870埠

3、hadoop命令進行檔案操作:

mkdir命令建立目錄:

hdfs -mkdir hdfs://ip:9000/user
put命令上傳檔案:

hdfs -put d:/a.txt hdfs://ip:9000/user/
ls命令檢視指定目錄檔案列表:

hdfs -ls hdfs://ip:9000/user/

簡述hadoop安裝步驟

安裝步驟 1 安裝虛擬機器系統,並進行準備工作 可安裝 乙個然後轉殖 2.修改各個虛擬機器的hostname和host 3.建立使用者組和使用者 4 配置虛擬機器網路,使虛擬機器系統之間以及和host主機之間可以通過 相互ping通。5.安裝jdk和配置環境變數,檢查是否配置成功 6 配置ssh,實...

hadoop新增節點配置步驟

新加datanode的安裝步驟 1 ssh無密碼配置和上面詳細步驟一樣,在新datanode上的 root 上建乙個 ssh的目錄,把namenode的authorized keys複製到新datanode的 ssh目錄上。在namenode上ssh驗證一下是否需要密碼。2 修改機器名,和上面詳細步...

hadoop安裝詳細步驟 手搖晾衣架的詳細安裝步驟

最近晾衣架的種類越來越多,除了最早的金屬固定的,還多了手搖的 電動的等等,許多家庭都不知道應該選擇哪種晾衣架,今天不妨和修達達一起了解一下手搖晾衣架,看看這種晾衣架是不是你想要的。手搖晾衣桿安裝步驟如下 第一步,在安裝手搖晾衣架之前,需要先測量一下陽台吸頂燈的大小,滑輪架與陽台邊沿的距離等等,根據這...