發表於 2013-11-23 12:53
|只看該作者
|只看大圖
本帖最後由 panda 於 2013-11-24 13:23 編輯
問題描述：
重新配置eclipse的mapredece執行環境.上傳test_1檔案，
apr 23 11:49:54 hostapd: wlan0: sta 14:7d:c5:9e:fb:84
apr 23 11:49:52 hostapd: wlan0: sta 74:e5:0b:04:28:f2
apr 23 11:49:50 hostapd: wlan0: sta cc:af:78:cc:d5:5d
apr 23 11:49:44 hostapd: wlan0: sta cc:af:78:cc:d5:5d
apr 23 11:49:43 hostapd: wlan0: sta 74:e5:0b:04:28:f2
apr 23 11:49:42 hostapd: wlan0: sta 14:7d:c5:9e:fb:84
如圖：
解決步驟：
1.檢視hdfs-site.xml,已經設定hdfs的訪問控制設為false.
2.檢視hdfs的檔案目錄許可權：
已執行：
bin/hadoop fs -chmod 777
3.修改windows本地帳戶
4.檢查hdfs能否本地上傳
可以上傳
5.檢查eclipse的配置埠：
和core-site.xml的一致：
做完以上5個步驟，問題依然沒有解決。發現不同的方式上傳的檔案屬性不同
不知道是什麼原因？
6.檢查防火牆和selinux是否禁用
在root許可權下：
關閉防火牆：
/sbin/service iptables stop
禁用selinux
編輯 "/etc/selinux/config"檔案，設定"selinux=disabled"
重啟 reboot
7.重啟後，重啟hadoop將test_1檔案上傳到hdfs中在本地可以看到檔案內容
但是在eclipse檢視的時候報錯：
網上查詢的結果多是：節點斷了，沒連線上，但是我再datanode也可以檢視test_1檔案，不知道怎麼解決！
我猜是可能網路問題，不過太牽強了，我eclipse連線的hadoop的是在網際網路上面的機器。
各位同學，該怎麼解決？
問題解決：
在執行test_1的時候發現報錯：
eclipse所在的機器 hadoop client和hadoop 不是在乙個網段內，不能直接連線到datanode上面。這也是為什麼我的另外乙個搭載在乙個區域網的hadoop client 可以訪問網內的hadoop集群的原因。
我再本機上用vmware虛擬了2臺伺服器，重新搭建hadoop集群，問題就解決了。
總結：hadoop client 需要在hadoop集群在同乙個網段內才能除錯mapreduce程式。
sublimeText python一些配置
根據網上的部落格，總結在sublime text下開發python最需要的配置。1 tab和空格的配置 preference setting user 2 安裝python pep8 autoformat package control install package python pep8 aut...
一些二分匹配的題
poj1469簡單的二分匹配 include include int map 1005 1005 vis 2000 match 2000 int n,m int dfs int u return0 int main int ans 0 memset match,1,sizeof match for ...
安裝Sublime Text 3，做一些基本配置
開始使用arch kde plasma的第4周，用kate寫東西的時候總有些不順手，加上要寫markdown，之前win7上用st3很舒服，準備遷移一下.之前已經準備了pamac，在aur搜尋sublime text 3 imfix，一路確認安裝，編輯器到手.從網上搞了個註冊碼，但只能在st2上使用...