大資料 hdfs操作命令手冊

2021-09-21 18:07:43 字數 1967 閱讀 5689

這裡使用的hadoop版本是3.1.2

使用hdfs和使用linux檔案系統是相似的,這裡列舉出常用的幾個命令。

在使用hdfs之前,我們必須對namenode進行格式化,這個步驟在部署偽分布式的時候已經執行過了

hdfs namenode -format
建立使用者目錄,進入hdfs時,預設目錄就是/user/,是linux使用者名稱。當執行hdfs dfs -ls預設輸出的是/user/下的內容

hdfs dfs -mkdir /user

hdfs dfs -mkdir /user/

使用適合的檔案uri方案,按列出根目錄檔案作為例子

1)使用dfs,hadoop dfs -ls hdfs://[host:port]/

2)使用本地檔案系統,hadoop dfs -ls file:///

1)刪除檔案/目錄

hdfs dfs -rm -r [name]

附錄:hdfs dfs 列出所有的命令

usage: hadoop fs [generic options]

[-cat [-ignorecrc] ...]

[-checksum ...]

[-chgrp [-r] group path...]

[-chmod [-r] path...]

[-chown [-r] [owner][:[group]] path...]

[-copyfromlocal [-f] [-p] [-l] [-d] [-t ] ... ]

[-copytolocal [-f] [-p] [-ignorecrc] [-crc] ... ]

[-count [-q] [-h] [-v] [-t ] [-u] [-x] [-e] ...]

[-cp [-f] [-p | -p[topax]] [-d] ... ]

[-createsnapshot ]

[-deletesnapshot ]

[-df [-h] [...]]

[-du [-s] [-h] [-v] [-x] ...]

[-expunge]

[-find ... ...]

[-get [-f] [-p] [-ignorecrc] [-crc] ... ]

[-getfacl [-r] ]

[-getfattr [-r] [-e en] ]

[-getmerge [-nl] [-skip-empty-file] ]

[-head ]

[-help [cmd ...]]

[-ls [-c] [-d] [-h] [-q] [-r] [-t] [-s] [-r] [-u] [-e] [...]]

[-mkdir [-p] ...]

[-movefromlocal ... ]

[-movetolocal ]

[-mv ... ]

[-put [-f] [-p] [-l] [-d] ... ]

[-renamesnapshot ]

[-rm [-f] [-r|-r] [-skiptrash] [-safely] ...]

[-rmdir [--ignore-fail-on-non-empty] ...]

[-setfacl [-r] [ ]|[--set ]]

[-setfattr ]

[-setrep [-r] [-w] ...]

[-stat [format] ...]

[-tail [-f] ]

[-test -[defsz] ]

[-text [-ignorecrc] ...]

[-touch [-a] [-m] [-t timestamp ] [-c] ...]

[-touchz ...]

[-truncate [-w] ...]

[-usage [cmd ...]]

獲取hdfs (大資料)HDFS

hdfs 是 hadoop 的分布式檔案系統,主要用於離線的大檔案資料資料儲存。hdfs 架構 hdfs 其實與作業系統的檔案系統類似,hdfs 主要有兩種角色,乙個是 namenode 檔案索引 另乙個是 datanode 儲存資料 namenode 主要負責記錄乙個檔案的儲存元資料 例如 檔名 ...

大資料 學習hdfs

hdfs是什麼?hadoop distributed file system,它是一種分布式檔案儲存系統,主要解決大資料的儲存問題。hdfs的優缺點 優點 缺點 hdfs的主要角色 namenode 簡稱nn 是hdfs的核心節點,最重要 主要功能是 接收客戶端的讀寫請求,接收datanode傳送的...

大資料面試(HDFS)

第4章hdfs 4.1 hdfs 的讀寫流程細節?hdfs 中的 fsimage 裡面儲存的是什麼資訊?副本的存放策略?答 這個大家最好回家準備乙個詳細的流程圖然後根據自己的圖講給面試官看 4.2 hdfs 的機架感知?答 根據副本的存放策略,hdfs 是如何知道多個不同 node 是否在同乙個機架...