大資料（4） HDFS常用的shell操作

2022-06-11 10:45:11 字數 3154 閱讀 6546

注意：這次使用的是第二部分安裝的集群，不是高可用集群

為了方便，開發，必須寫集群指令碼，試想集群的機器是100臺以上，而不是3臺的情況。。。。

集群啟動指令碼

vim /home/admin/tools/start-cluster.sh


#!/bin/bash


echo "***************= 開始啟動所有節點服務 **********="


echo "***************= 正在啟動zookeeper **********="


for i in admin@linux01 admin@linux02 admin@linux03


do ssh $i '/home/admin/modules/zookeeper-3.4.10/bin/zkserver.sh start'


done


echo "***************= 正在啟動hdfs **********="


ssh admin@linux01 '/home/admin/modules/hadoop-2.7.2/sbin/start-dfs.sh'


echo "***************= 正在啟動yarn **********="


ssh admin@linux02 '/home/admin/modules/hadoop-2.7.2/sbin/start-yarn.sh'


echo "***************= linux01節點正在啟動jobhistoryserver **********="


ssh admin@linux01 '/home/admin/modules/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh start historyserver'

集群關閉指令碼

vim /home/admin/tools/stop-cluster.sh 


#!/bin/bash


echo "***************= 開始停止所有節點服務 **********="


echo "***************= linux01節點正在停止jobhistoryserver **********="


ssh admin@linux01 '/home/admin/modules/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh stop historyserver'


echo "***************= 正在停止yarn **********="


ssh admin@linux02 '/home/admin/modules/hadoop-2.7.2/sbin/stop-yarn.sh'


echo "***************= 正在停止hdfs **********="


ssh admin@linux01 '/home/admin/modules/hadoop-2.7.2/sbin/stop-dfs.sh'


echo "***************= 正在停止zookeeper **********="


for i in admin@linux01 admin@linux02 admin@linux03


do ssh $i '/home/admin/modules/zookeeper-3.4.10/bin/zkserver.sh stop'


done

集群詳情指令碼

vim /home/admin/tools/jpsutil.sh 


#!/bin/bash


for i in admin@linux01 admin@linux02 admin@linux03


do echo "***************===$i***************===="


ssh $i 'jps'


done

一、啟動hadoop集群

sh /home/admin/tools/start-cluster.sh

二、常用的shell操作

cd /home/admin/modules/hadoop-2.7.2/

# 格式化操作


$ bin/hdfs namenode -format


# 展示檔案和資料夾列表


$ bin/hdfs dfs -ls /


# 建立資料夾


# 在使用者目錄下建立


$ bin/hdfs dfs -mkdir aaa/


# 在根目錄下建立


$ bin/hdfs dfs -mkdir /aaa/


# 遞迴層級建立多個資料夾


$ bin/hdfs dfs -mkdir -p /bbb/ccc


# 上傳本地檔案到hdfs，如果上傳成功，則刪除本地檔案（就是剪下操作）


$ bin/hdfs dfs -movefromlocal hello_world.txt /


# 末尾追加資料到hdfs中已經存在的檔案裡面


# 檢視檔案內容


$ bin/hdfs dfs -cat /hello_world.txt 


# 檢視檔案末尾資訊


$ bin/hdfs dfs -tail /hello_world.txt


# 拷貝本地檔案到hdfs，-copyfromlocal可以替換為-put


$ bin/hdfs dfs -copyfromlocal words.txt /aaa


# 拷貝hdfs檔案到hdfs另乙個目錄


$ bin/hdfs dfs -cp /aaa/words.txt /bbb


# 或剪下


$ bin/hdfs dfs -mv /aaa/words.txt /bbb


$ bin/hdfs -get /hello_world.txt ./


$ bin/hdfs dfs -getmerge /*.txt ./demo.txt


# 刪除檔案或資料夾


$ bin/hdfs dfs -rmr /aaa

大資料入門與實戰 HDFS的常用操作

bin hdfs dfs usage hadoop fs generic options cat ignorecrc checksum chgrp r group path.chmod r path.chown r owner group path.copyfromlocal f p l d cop...

大資料入門 HDFS的特性

目標 掌握hdfs具備的特性 1 海量資料儲存 hdfs可橫向擴充套件，其儲存的檔案可以支援pb級別或更高階別的資料儲存。2 高容錯性 資料儲存多個副本，副本丟失後自動恢復。可構建在廉價的機器上，實現線性擴充套件。當集群增加新節點之後，namenode也可以感知，進行負載均衡，將資料分發和備份資料均...

大資料學習之HDFS常用命令

使用 putty 工具，以客戶端安裝使用者登入安裝客戶端的節點 即開啟putty 工具，輸入 servicecenter 申請雲主機的 ip190.28.58.153 切換至fusioninsight services client 客戶端的安裝目錄，如果未安裝，先安裝客戶端 安裝成功之後配置客戶端...