hadoop本地測試和偽分布式

hadoop:

1.安裝

官網

1.三種執行模式

1.本地模式 standalone

不需要啟動任何服務，直接使用命令去執行任務

2.偽分布式模式

執行規則和分布式一樣，但是只執行在乙個節點上

配置檔案

（1）etc/hadoop/core-site.xml:

fs.defaultfs–>hdfs://hadoop1:9000

hadoop.tmp.dir --> /opt/programs/hadoop-2.6.0/data/tmp

fs.defaultfs

hdfs://localhost:9000
hadoop.tmp.dir
/opt/module/hadoop-2.6.0/data/tmp
（2）etc/hadoop/hdfs-site.xml
dfs.replication --> 1
dfs.replication
1

先建立hadoop.tmp.dir指向的資料夾

bin/hdfs namenode -format

2.啟動服務

namenode：組長，hdfs的主節點

datanode：小弟，提供儲存資料服務的節點

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

3.jps看一下守護程序

namenode

datanode

4.使用webui檢視服務狀態

直接用瀏覽器訪問位址

hadoop1:50070

Hadoop偽分布式模式測試

配置系統 conf core site.xml fs.default.name hdfs localhost 9000 conf hdfs site.xml dfs.replication1 conf mapred site.xml mapred.job.tracker localhost 9001...

hadoop偽分布式

首先是本機模式的搭建，如 1 hdfs dfs ls 檢視本地分布式檔案系統，查詢結果為你本機linux檔案系統，說明你的本地模式已經搭建成功 2 進入安裝目錄hadoop資料夾下，進入etc hadoop下對四個配置檔案進行配置 core site.xml hdfs site.xml mapred...

hadoop偽分布式

一 安裝jdk 2 配置環境變數 配置成功 二 ssh免密碼登入 三 hadoop偽分布式配置 2 解壓 3 修改配置檔案 修改為jdk安裝位置 hadoop.tmp.dir file swy bigdata hadoop tmp abase for other temporary director...