基於CentOS6 5搭建hadoop偽分布式環境

2021-07-24 15:43:23 字數 1053 閱讀 6409

最近,一直在學習hadoop的東西,如果要學習一門語言,那麼這個語言的環境搭建是很重要的,剛開始本來試了一下,不成功,然後就不想試了,後面還是試成功了,可見其實有些東西沒有那麼難,只是看你有沒有心去學習這樣的東西了。

問題一:當我把環境打錯了,或者是name中和data中生成的id不一樣,此時我可以直接在執行./bin/hdfs namenode -format麼?

回答:不行,因為此時你已經在hadoop的環境下面生成了tmp的資料夾,如果想重新格式化,可以先stop-all.sh的命令,在重新./bin/hdfs namenode -format

問題二:當我執行完了./sbin/start-dfs.sh以及./sbin/start-yarn.sh這兩個命令的時候,如果我們可以在linux的命令地下可以進行hdfs的增刪改查,那麼我們為什麼在瀏覽器中輸入:ip(or hostname):50070的時候,瀏覽器找不到hadoop的檔案系統的介面版,此時你應該把防火牆關閉:

1.service iptables stop 停止防火牆

2.chkconfig iptables off  開機關閉

3.chkconfig iptables --list  檢視狀態

./bin/hdfs -ls hdfs上的目錄,例如可以寫./bin/hdfs -ls /(檢視hdfs上/的目錄下的檔案)或./bin/hdfs -ls /user(檢視/user目錄下的檔案列表)

./bin/hdfs dfs -get /output (/output此時是hdfs上面的/目錄下的檔案)  /tmp/name1234(本機目錄)

解釋:將hdfs上面的/output的檔案拷貝到本機的/tmp/name1234,此時的目錄叫做/tmp/name1234的這個檔案

./bin/hdfs dfs -put ./etc/hadoop/*.xml(本機目錄,當前目錄./etc/hadoop/的目錄下面所有的以.xml結尾的檔案) /input(hdfs的檔案)

解釋:將目錄./etc/hadoop的目錄下面的所有以.xml結尾的檔案上傳的hdfs的/input的目錄下

基於centos6 5的集群搭建

實驗室裡邊有一些不用的計算機,老師想將其配置下,整合成乙個機群,方便並行運算。但是由於這些計算機全部是剛剛安裝的centos6.5系統,裡邊好多軟體包都是空白的。在按照上邊文件配置的過程中有些地方需要替換,這裡將會在文件的基礎上加些補充。1.對於3.4開啟nfs服務 由於portmap在centos...

centos 6 5 搭建zookeeper集群

為什麼使用zookeeper?大部分分布式應用需要乙個主控 協調器或控制器來管理物理分布的子程序 如資源 任務分配等 目前,大部分應用需要開發私有的協調程式,缺乏乙個通用的機制 協調程式的反覆編寫浪費,且難以形成通用 伸縮性好的協調器 zookeeper 提供通用的分布式鎖服務,用以協調分布式應用 ...

Centos6 5搭建dhcpd服務

dhcpd動態獲取ip位址,對於小型區域網很便利的。在不大的網路社會靜態ip也是不錯的!環境 centos6.5 10.10.24.1 dns server winxp sp3 client 網段 10.10.24.0 24 01 設定主機名 hostname dns.mvpbang.com vim...