Hadoop 一 偽分布式執行模式

2021-10-01 11:01:39 字數 492 閱讀 6999

虛擬機器ip都已配置完成

關閉伺服器防火牆

安裝jdk,並配置環境變數

安裝hadoop,並配置環境變數

偽分布式執行模式

dfs.replication

1

啟動集群

檢視集群

windows下沒有配置主機名稱對映則需要通過ip位址訪問【hadoop://伺服器ip:50070】

6.ping通ip卻無法在web端訪問

!!!檢視伺服器防火牆狀態,關閉防火牆!!!

!!!microsoft edge無法訪問時,用chrome開啟web端檢視hdfs檔案系統!!!

7. 用chrome仍無法訪問時,則需要進行配置檢查,從頭開始

Hadoop偽分布式執行wordcount小例子

先說點小知識 hadoop fs 使用面最廣,可以操作任何檔案系統 hadoop dfs和hdfs dfs只能操作hdfs相關的 先建資料存放目錄和結果輸出目錄 guo guo opt hadoop hadoop 2.7.2 hdfs dfs mkdir data input guo guo opt...

Hadoop偽分布式執行wordcount例子

1.進入hadoop目錄,新建乙個test.log檔案,cat命令檢視檔案內容 2.啟動yarn和dfs,一種是全部啟動start all.sh,另外一種分別啟動,如下圖的提示 4.把新建的檔案傳到hdfs的data input中,用ls命令檢視是否傳遞成功 5.進入mapreduce目錄 6.ls...

Hadoop偽分布式模式測試

配置系統 conf core site.xml fs.default.name hdfs localhost 9000 conf hdfs site.xml dfs.replication1 conf mapred site.xml mapred.job.tracker localhost 9001...