hadoop64位編譯及開發環境搭建(三)

2021-06-27 10:08:19 字數 1090 閱讀 7282

上次hadoop集群已經搭建完成,並奔跑正常,下面我們就該用eclipse連線這個集群了,方便開發程式。

把外掛程式放到eclipse的plugins目錄裡面,重啟eclipse。

在eclipse 的右上角輸入map就會看到有 map/reduce locations 

開啟map/reduce locations ,右鍵,new hadoop location... 

laction name 隨便起個名字

把master的ip位址和埠填寫清楚 ,然後finish。

切換到 map/reduce 檢視 在最上面就會看見 hadoop的檔案系統了

如果沒有配置錯誤的話,應該會在這裡出現hadoop的檔案系統,但是我的資料夾一直顯示0個  

嘗試上傳乙個檔案,發現是許可權不夠,應該是我用window8訪問hadoop集群導致權重不夠

後來在 hdsf-site.xml 裡面增加乙個配置  

dfs.permissions

false

這樣就不限制權重了

重新啟動集群,重新連線,重新整理,嘗試新建testdata資料夾,還是顯示0

重新整理,居然有了,給這個資料夾上傳檔案,成功。

重新整理下目錄,就看到了

在 master上   hadoop fs -ls -r /

[hadoop@master hadoop]$ hadoop fs -ls -r /

drwxr-xr-x - administrator supergroup 0 2014-12-03 15:05 /testdata

-rw-r--r-- 3 administrator supergroup 593494016 2014-12-03 14:33 /testdata/centos-7.0-1406-x86_64-minimal.iso

-rw-r--r-- 3 administrator supergroup 2401901 2014-12-03 15:05 /testdata/protobuf-2.5.0.tar.gz

從網上隨便找個mapraduce程式跑下試

安裝64位php開發環境

最近聽說php5.4速度很快,所以想建立乙個本地環境測試下。我打算用本地windows xp sp3下安裝php5.4.8 apache2.4.3和mysql5.5.28。前期的準備工作已經完成。下面講講如何安裝apache,這個是最麻煩的,其他的多簡單。第一部分 安裝apache2.4.3 2.開...

交叉編譯環境 搭建開發環境

一 安裝ubuntu redhat等linux作業系統 二 修改源 可省略 sudo vi etc apt sources.list deb 或直接在 系統 系統管理 軟體源 選擇軟體源 三 更新源列表 sudo apt get update 四 安裝中文環境 系統 系統管理 語言支援 在 支援的語...

搭建hadoop集群開發環境1

最近沒事學習一下hadoop,搭建乙個hadoop集群,由於之前接觸linux較少,就順帶著學學linux,這裡將遇到的問題記錄下來 我用的是ubuntu 14.10 desktop amd64,因為不了解,中間遇到各種問題,這裡重點寫一下遇到的問題,至於搭建hadoop具體步驟,可以檢視下面的鏈結...