hadoop偽分布式

一、安裝jdk

2、配置環境變數

配置成功：

二、ssh免密碼登入

三、hadoop偽分布式配置

2、解壓

3、修改配置檔案

修改為jdk安裝位置

hadoop.tmp.dir

file:/swy/bigdata/hadoop/tmp
abase for other temporary directories.
fs.defaultfs
hdfs://
localhost:9000

dfs.replication

1 
dfs.namenode.name.dir
file:/swy/bigdata/hadoop/tmp/dfs/name
dfs.datanode.data.dir
file:/swy/bigdata/hadoop/tmp/dfs/data

$ cp  mapred-site.xml.template  mapred-site.xml #定mapreduce程式設計模型執行在yarn之上

mapreduce.framework.name

yarn

$ vim  yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

四、啟動hadoop

1、 namenode 格式化

2、開啟namenode 和 datanode 守護程序

ufw disable  #關閉防火牆

start-dfs.sh

3、啟動成功，瀏覽器輸入http://localhost:50070，出現如下介面：

五、啟動yarn

$ start-yarn.sh

swy@swy:/swy/bigdata/hadoop/etc/hadoop$ jps

3153
datanode
3511
resourcemanager
3367
secondarynamenode
3032
namenode
3963
jps3627 nodemanager

hadoop偽分布式

首先是本機模式的搭建，如 1 hdfs dfs ls 檢視本地分布式檔案系統，查詢結果為你本機linux檔案系統，說明你的本地模式已經搭建成功 2 進入安裝目錄hadoop資料夾下，進入etc hadoop下對四個配置檔案進行配置 core site.xml hdfs site.xml mapred...

hadoop偽分布式搭建

因為hadoop偽分布式我已在本地搭建並且執行成功。為了加快學習不足同時分享搭建。直接將不足貼出來，如有不同意見還忘評價共同提公升。hadoop 偽分布模式 hdfs yarn 另外補充下 hadoop2.0之後不包含mapreduce 環境搭建準備 1,vmware 安裝 如果你使用的事virtu...

Hadoop偽分布式安裝

帶尺寸的 當然，我們為了讓使用者更加便捷，我們增加了拖拽功能。去部落格設定頁面，選擇一款你喜歡的 片高亮樣式，下面展示同樣高亮的 片.an highlighted block var foo bar 專案1專案2 專案3乙個簡單的 是這麼建立的 專案value 電腦 1600 手機 12 導管 1 ...