偽分布式:就是所有的程式都在一台主機上跑,完全是分布式的工作模式,但是不是真正的分布式
先上傳hadoop的安裝包到伺服器上去/home/hadoop/
注意：hadoop2.x的配置檔案$hadoop_home/etc/hadoop
偽分布式需要修改5個配置檔案
3.1配置hadoop
hdfs://weekend110:9000/
hadoop.tmp.dir
/home/hadoop/hadoop-2.4.1/data/
vi hdfs-site.xml
第三個：hdfs-site.xml
vim hdfs-site.xml
dfs.replication
1yaant執行必須的配置檔案
首先修改檔案呢的名字,不然hadoop不會讀取的
第四個：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
mapreduce.framework.name
yarn
第五個：yarn-site.xml
vim yarn-site.xml
yarn.resourcemanager.hostname
weekend110
yarn.nodemanager.aux-services
mapreduce_shuffle
現在關閉hadoop伺服器的防火牆:
sudo service iptables stop
檢視狀態
sudo service iptables status
檢視liunx防火牆的自啟動服務設定
sudo chkconfig iptables --list
關掉liunx防火牆的自啟動服務設定
sudo chkconfig iptables off
第一次啟動注意要格式化檔案系統
source /etc/profile
hadoop namenode -format
3.3格式化namenode（是對namenode進行初始化）
hdfs namenode -format (hadoop namenode -format)
修改主機名稱
vi sla
3.4啟動hadoop
先啟動hdfs
sbin/start-dfs.sh
再啟動yarn
sbin/start-yarn.sh
3.5驗證是否啟動成功
jps使用jps命令驗證
27408 namenode
28218 jps
27643 secondarynamenode
28066 nodemanager
27803 resourcemanager
27512 datanode
（hdfs管理介面）
（mr管理介面）
4.配置ssh免登陸
#生成ssh免登陸金鑰
#進入到我的home目錄
cd ~/.ssh
ssh-keygen -t rsa （四個回車）
執行完這個命令後，會生成兩個檔案id_rsa（私鑰）、id_rsa.pub（公鑰）
將公鑰拷貝到要免登陸的機器上
ssh-copy-id localhost
hadoop
大資料工具Hadoop快速入門13大資料測試
大資料是不能使用傳統計算技術處理的大型資料集的集合。這些資料集的測試涉及各種工具，技術和框架。大資料涉及資料建立，儲存，檢索和分析，數量，多樣性和速度都要求非常高。更多的是驗證其資料處理而不是單個功能，效能和功能測試 是關鍵都很重要。使用集群和其他支援元件來驗證tb級資料的處理。它需要高水平的測試技...
大資料入門之Hadoop基礎學習
資料採集引擎 sqoop flumezookeeper 實現hadoop的ha oozie 工作流引擎第一階段 scala程式語言 第二階段 spark core 基於記憶體 資料的計算 第三階段 spark sql 類似於mysql 的sql語句 第四階段 spark streaming 進行流式...
大資料框架hadoop安裝以及簡介
hadoop實現了乙個分布式檔案系統 重點 hadoop distributed file system 簡稱hdfs。hdfs有高容錯性的特點，並且設計用來部署在低廉的 low cost 硬體上 而且它提供高吞吐量 high throughput 來訪問應用程式的資料，適合那些有著超大資料集 la...