hadoop集群搭建之NFS服務

2021-07-04 21:56:48 字數 2433 閱讀 5453

linux作業系統:ubuntu 12

nfs環境規劃

nfs伺服器:192.168.1.201

nfs客戶端:192.168.1.202、192.168.1.203

1. nfs伺服器安裝及配置(使用root賬號)

1.1 首先檢視下本機是否安裝nfs

#dpkg --list|grep 'nfs'  

如果有安裝會顯示對應的版本名稱資訊等

1.2 安裝nfs軟體

#apt-get install nfs-kernel-server

1.3 修改/etc/exports 檔案,增加以下內容:

#vi /etc/exports

/home/suh *(rw,sync,no_root_squash)

ps:前面的路徑表示將要共享的目錄,* 表示允許所有使用者都訪問,

rw 表示擁有讀寫許可權,sync表示資料同步寫入到記憶體和硬碟裡面,

no_root_squash 表示開放客戶端使用root身份來操作伺服器的檔案系統。

執行以下命令,使之生效:

#sudo exportfs –rv

1.4 啟動nfs服務

#sudo /etc/init.d/nfs-kernel-server restart

檢視nfs啟動狀態:

#service nfs-kernel-server status

正常啟動後列印:nfsd running

2. 所有客戶端機器安裝 nfs,並進行掛載操作(使用root賬號)

2.1 客戶端機器安裝nfs-common包

#sudo apt-get install nfs-common

2.2 進行掛載

#mkdir /nfs_share

#sudo mount -onolock 192.168.1.201:/home/suh /nfs_share

3. 檢驗nfs(使用root賬號)

3.1 在客戶端伺服器輸入命令檢視共享目錄是否設定成功:

#showmount -e 192.168.1.201 

命令執行後,將會列印出nfs伺服器(192.168.1.201)上共享的目錄檔案路徑

列印內容如下:

----------------------------------

export list for 192.168.1.201:

/home/suh *

----------------------------------

3.2 在所有客戶端進一步校驗客戶端剛掛載的目錄中是否有nfs伺服器上共享目錄檔案內容

#ls /nfs_share/

將會列印出nfs伺服器上(192.168.1.201)/home/suh目錄的所有檔案,說明掛載成功。

3.3 在所有客戶端機器上的配置開機自動掛載共享目錄到本地目錄

修改配置檔案/etc/fstab:

#vi /etc/fstab

在最末尾增加以下內容:

192.168.1.201:/home/suh /nfs_sharenfsdefaults11

ps:讓客戶端開機時自動將/home/suh 掛載到 /nfs_share

4. 共享金鑰檔案(使用suh普通使用者許可權操作)

4.1在各台機器上生成私鑰

#ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa

4.2 在nfs服務端機器上,將nfs伺服器端的公鑰檔案寫入到authorized_keys裡面

進入到共享目錄

#su suh

#cd 

#cd .ssh

#cat /home/suh/.ssh/id_dsa.pub >>/home/suh/.ssh/authorized_keys

4.3 在服務端機器上,將nfs客戶端的公鑰檔案也寫入到共享的authorized_keys裡面

#ssh 192.168.1.202 cat /home/suh/.ssh/id_dsa.pub >>/home/suh/.ssh/authorized_keys

#ssh 192.168.1.203 cat /home/suh/.ssh/id_dsa.pub >>/home/suh/.ssh/authorized_keys

4.3 修改服務端機器 authorized_keys 檔案的許可權

#chmod 644 authorized_keys

4.4 在所有客戶端機器上,在hadoop使用者的.ssh 目錄下建立authorized_keys的軟鏈結

#ln -s /nfs_share/.ssh/authorized_keys /home/suh/.ssh/authorized_keys

4.5 設定完成後,進行免密碼登陸校驗

#ssh suh01.hadoop.com

#ssh suh02.hadoop.com

#ssh suh03.hadoop.com

集群搭建 NFS

nfs介紹 nfs是network file system的縮寫,即網路檔案系統。它的主要功能是通過網路 一般是區域網 讓不同的主機系統之間可以共享檔案或目錄。nfs客戶端 一般為應用伺服器,例如web 可以通過掛載 mount 的方式將nfs服務端共享的資料目錄掛載到nfs客戶端本地系統中 就是某...

Hadoop集群搭建

hadoop集群具體來說包含兩個集群 hdfs集群和yarn集群,兩者邏輯上分離,但物理上常在一起。hdfs集群 負責海量資料的儲存,集群中的角色主要有 namenode datanode yarn集群 負責海量資料運算時的資源排程,集群中的角色主要有 resourcemanager nodeman...

hadoop集群搭建

hadoop執行環境搭建 1.修改主機名 2.關閉防火牆 3.建立hadoop使用者 4.配置hadoop使用者具有root許可權 5.在 opt目錄下建立資料夾 1 在 opt目錄下建立module soft資料夾 sudo mkdir module sudo mkdir soft 2 修改mod...