hadoop配置
一、hadoop集群模式：
hadoop集群共有三種模式：
1、單機模式（standalone）
2、偽分布式模式（pseudo-distributed）
3、完全分布式模式（fully distributed）
二、三種模式的具體配置
component
property
standalone
pseudo-distributed
fully distributed
core
fs.default.name
file:///
hdfs://localhost/
hdfs://namenode/
hdfs
dfs.replication
n/a1
3 mapreduce
mapred.job.tracker
local
localhost:8021
jobtracker:8021
例如：pseudo-distributed（偽分布式模式）配置
<?xml version="1.0"?>
fs.default.name
hdfs://localhost/
<?xml version="1.0"?>
dfs.replication
1
<?xml version="1.0"?>
mapred.job.tracker
localhost:8021
單機模式只需對照上表配置三個檔案(conf/core-site.xml,conf/hdfs-site.xml,conf/mapred-site.xml
)即可.請你先測試一下單機模式，祝你好運！
三、偽分布式模式配置ssh
1、安裝ssh
% sudo apt-get install ssh
2、確保ssh無密碼登入
% ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa
3、測試ssh
% ssh localhost
4、格式化hdfs檔案系統
% hadoop namenode -format
5、啟動hdfs和mapreduce執行緒
% start-dfs.sh
% start-mapred.sh
6、終止hdfs和mapreduce執行緒
% stop-dfs.sh
% stop-mapred.sh
7、所有訪問的檔案需上傳到hdfs檔案系統，具體操作詳見四。
四、偽分布式模式與全分布式模式需執行在hdfs檔案系統
1、格式化hdfs檔案系統
hadoop namenode -format
2、上傳資料到hdfs
hadoop fs -put localsrc dest
3、瀏覽hdfs檔案系統目錄
hadoop fs -ls
4、檢視hdfs檔案系統檔案內容
hadoop fs -cat filename
hadoop fs -get dest localdest
6、幫助
hadoop fs -help
7、刪除檔案
hadoop fs -rm file
Linux中hadoop安裝及配置詳解
fs.defaultfs hdfs hadoop.tmp.dir opt hadoop tmp 七 修改檔案vi etc hadoop hdfs site.xml，加入如下 其中dfs.namecode.name.dir 所對應的value值可以指定存放目錄，如果為多個目錄請用逗號隔開。同理於dfs...
hadoop安裝詳解
1.多台linux虛擬機器無密碼登入 2.在每台電腦上安裝jdk 3.上傳hadoop 2.2.0.x86 64.tar.gz 密碼 8t9b 到hadoop賬號下的任意位置 執行 mkdir hadoop mkdir hadoop tmp mkdir hadoop hdfs name mkdir ...
Hadoop過程詳解
1 split分片 map 由上圖所示，是hadoop的分片過程，在hadoop中預設每個 塊 是128m，從圖中可以看出輸入了兩個檔案，第乙個檔案比較大，占用了2 個塊，第二個檔案比較小 128m 所以，第乙個檔案被分為3個分片 split1 3，第二個檔案單獨被分為乙個分片split4。一般來說...