ubuntu下hadoop安裝與配置

安裝前的建議：

將 vm 虛擬機器連上網路後，在 securerct 中連線ubuntu，然後進行編寫。 securecrt 可以直接複製**，如果在ubuntu桌面就必須純手打**，無法將外部瀏覽器的內容複製進去。

利用 securerct 可以進行 windows 與 linux 檔案傳輸，比如在 windows 系統安裝了 jdk1.8 要上傳到 linux 系統，則需要用到 securerct.

一、建立hadoop使用者

$ sudo useradd -m hadoop -s /bin/bash  #

建立hadoop使用者，並使用/bin/bash作為shell
$ sudo passwd hadoop #
為hadoop使用者設定密碼，之後需要連續輸入兩次密碼
$ sudo adduser hadoop sudo #
為hadoop使用者增加管理員許可權
$ su - hadoop #
切換當前使用者為使用者hadoop
$ sudo apt-get update #
更新hadoop使用者的apt,方便後面的安裝

$ sudo apt-get install openssh-server   #

安裝ssh server
$ ssh localhost #
登陸ssh，第一次登陸輸入yes
$ exit #
退出登入的ssh localhost
$ cd ~/.ssh/ #
如果沒法進入該目錄，執行一次ssh localhost
$ ssh-keygen -t rsa　 

其中，第一次回車是讓key存於預設位置，以方便後續的命令輸入。第二次和第三次是確定passphrase，相關性不大。

兩次回車輸入完畢以後，如果出現類似於下圖所示的輸出，即成功：

然後繼續輸入：

$ cat ./id_rsa.pub >> ./authorized_keys #

加入授權
$ ssh localhost #
此時已不需密碼即可登入localhost，並可見下圖。如果失敗則可以搜尋ssh免密碼登入來尋求答案
在此之前先將jdk安裝好
三、安裝hadoop-2.6.0
$ sudo tar -zxvf  hadoop-2.6.0.tar.gz -c /usr/local    #

解壓到/usr/local目錄下
$ cd /usr/local
$ sudo mv hadoop-2.6.0 hadoop #
重新命名為hadoop
$ sudo chown -r hadoop ./hadoop 
安裝好後，在hadoop使用者下給hadoop配置環境變數，若使用者不是hadoop則輸入 su - hadoop切換使用者

切換完成後輸入 vi /etc/profile（許可權要求root）
在檔案底部新增
export hadoop_home=/usr/local/hadoop

export hadoop_common_lib_native_dir=$hadoop_home/lib/native
export path=$path:$hadoop_home/bin:$hadoop_home/sbin
：wq 儲存檔案後執行source /etc/profile使設定生效。

安裝完成後輸入 hadoop version 檢視:
四、偽分布式配置
1、先將 jdk1.8 的路徑新增到 hadoop-env.sh 中
2、修改core-site.xml檔案：
hadoop.tmp.dir

file:/usr/local/hadoop/tmp
abase for other temporary directories.
fs.defaultfs
hdfs://localhost:9000
wq儲存

3、接下來修改配置檔案 hdfs-site.xml
dfs.replication

1 dfs.namenode.name.dir
file:/usr/local/hadoop/tmp/dfs/name
dfs.datanode.data.dir
file:/usr/local/hadoop/tmp/dfs/data
配置完成後，執行 namenode 的格式化

hdfs namenode -format
然後啟動namenode和datanode程序，並檢視啟動結果

啟動完成後，可以通過命令 jps 來判斷是否成功啟動，若成功啟動則會列出如下程序: 「namenode」、」datanode」 和 「secondarynamenode」
進入ubuntu-firefox中輸入http://localhost:50070，若出現以下畫面，則代表hadoop配置成功
hadoop集群下安裝zookeeper
從 http tar zxvf zookeeper 3.4.6.tar.gz cd zookeeper 3.4.6 cp conf zoo sample.cfg conf zoo.cfg 2 配置節點 在 home dm opt下新建zookeeperdata這個目錄，並在該目錄下，新建myid檔案...
UBUNTU下軟體安裝
先簡單說介紹一下ubuntu。ubuntu的中文發音大約為 烏班圖。ubuntu這個單詞源自非洲，意謂 班圖精神 誰都不是一座孤島，自成一體。每個人都包孕於人類，因他人存在而存在，因他人幸福而幸福。下面介紹下在ubuntu下如何裝軟體。linux系統中，軟體通常以源 或者預編譯包的形式提供。1 軟體...
ubuntu下安裝飛鴿
ubuntu下安裝飛鴿傳書g2ipmsg很麻煩，總是出問題，還需要解決中文支援問題 可參考 如下 其實在ubuntu的源中有個軟體 iptux 信使 可以與windows下的飛鴿傳書 飛秋等工具相容，實現傳送資訊與檔案等功能，安裝十分方面。ubuntu 10.10下安裝iptux的方法 1.安裝。在...