hadoop入門 偽分布式詳解

1.首先開啟ssh

ssh localhost

2.若是初次啟動hadoop，首先需要格式化namenode，命令如下：

bin/hadoop namenode -format

3.啟動hadoop守護程序，包括namenode,

secondarynamenode，datanode,jobtracker,tasktraker五個。

bin/start-all.sh

這幾個守護程序在hadoop框架中相應的作用如下：

namenode 是 hadoop 中的主伺服器，它管理檔案系統命名空間和對集群中儲存的檔案的訪問。還有乙個 secondary namenode，它不是 namenode 的冗餘守護程序，而是提供週期檢查點和清理任務。在每個 hadoop 集群中可以找到乙個 namenode 和乙個 secondary namenode。

datanode 管理連線到節點的儲存（乙個集群中可以有多個節點）。每個儲存資料的節點執行乙個 datanode 守護程序。

最後，每個集群有乙個 jobtracker，它負責排程 datanode 上的工作。每個 datanode 有乙個 tasktracker，它們執行實際工作。jobtracker 和 tasktracker 採用主-從形式，jobtracker 跨 datanode 分發工作，而 tasktracker 執行任務。jobtracker 還檢查請求的工作，如果乙個 datanode 由於某種原因失敗，jobtracker 會重新排程以前的任務。

在我們此次的偽分布式環境中，所有節點都執行在同一臺主機上。

4.可以檢查hdfs，比較常用的命令如下：

bin/hadoop fs -ls

5.通過web介面操作hadoop

http://localhost:50030/     - hadoop 管理介面

http://localhost:50060/     - hadoop task tracker 狀態

http://localhost:50070/     - hadoop dfs 狀態

hadoop偽分布式

首先是本機模式的搭建，如 1 hdfs dfs ls 檢視本地分布式檔案系統，查詢結果為你本機linux檔案系統，說明你的本地模式已經搭建成功 2 進入安裝目錄hadoop資料夾下，進入etc hadoop下對四個配置檔案進行配置 core site.xml hdfs site.xml mapred...

hadoop偽分布式

一 安裝jdk 2 配置環境變數 配置成功 二 ssh免密碼登入 三 hadoop偽分布式配置 2 解壓 3 修改配置檔案 修改為jdk安裝位置 hadoop.tmp.dir file swy bigdata hadoop tmp abase for other temporary director...

hadoop偽分布式搭建

因為hadoop偽分布式我已在本地搭建並且執行成功。為了加快學習不足同時分享搭建。直接將不足貼出來，如有不同意見還忘評價共同提公升。hadoop 偽分布模式 hdfs yarn 另外補充下 hadoop2.0之後不包含mapreduce 環境搭建準備 1,vmware 安裝 如果你使用的事virtu...