大資料入門與實戰 HDFS的常用操作

2021-09-12 04:16:48 字數 2517 閱讀 3080

bin/hdfs dfs

usage: hadoop fs [generic options]

[-cat [-ignorecrc] ...]

[-checksum ...]

[-chgrp [-r] group path...]

[-chmod [-r] path...]

[-chown [-r] [owner][:[group]] path...]

[-copyfromlocal [-f] [-p] [-l] [-d] ... ]

[-copytolocal [-f] [-p] [-ignorecrc] [-crc] ... ]

[-count [-q] [-h] [-v] [-t ] [-u] [-x] ...]

[-cp [-f] [-p | -p[topax]] [-d] ... ]

[-createsnapshot ]

[-deletesnapshot ]

[-df [-h] [...]]

[-du [-s] [-h] [-x] ...]

[-expunge]

[-find ... ...]

[-get [-f] [-p] [-ignorecrc] [-crc] ... ]

[-getfacl [-r] ]

[-getfattr [-r] [-e en] ]

[-getmerge [-nl] [-skip-empty-file] ]

[-help [cmd ...]]

[-ls [-c] [-d] [-h] [-q] [-r] [-t] [-s] [-r] [-u] [...]]

[-mkdir [-p] ...]

[-movefromlocal ... ]

[-movetolocal ]

[-mv ... ]

[-put [-f] [-p] [-l] [-d] ... ]

[-renamesnapshot ]

[-rm [-f] [-r|-r] [-skiptrash] [-safely] ...]

[-rmdir [--ignore-fail-on-non-empty] ...]

[-setfacl [-r] [ ]|[--set ]]

[-setfattr ]

[-setrep [-r] [-w] ...]

[-stat [format] ...]

[-tail [-f] ]

[-test -[defsz] ]

[-text [-ignorecrc] ...]

[-touchz ...]

[-truncate [-w] ...]

[-usage [cmd ...]]

上面的命令的作用基本上和linux檔案操作等命令的效果差不多

資料夾建立與刪除

上傳檔案

啟動namenode

啟動datanode

啟動resourcemanager

啟動nodemanager

啟動historyserver

檢視程序

start對應的stop為停止相關的程序,比如sbin/hadoop-daemon.sh stop namenode

執行jar檔案

例如下面的詞頻統計例項:

大資料入門 HDFS的特性

目標 掌握hdfs具備的特性 1 海量資料儲存 hdfs可橫向擴充套件,其儲存的檔案可以支援pb級別或更高階別的資料儲存。2 高容錯性 資料儲存多個副本,副本丟失後自動恢復。可構建在廉價的機器上,實現線性擴充套件。當集群增加新節點之後,namenode也可以感知,進行負載均衡,將資料分發和備份資料均...

hdfs讀寫流程 大資料實戰之HDFS讀寫流程

hdfs是乙個分布式檔案系統,其中最需要關注的就是讀寫流程了,寫流程比讀流程更快,下面分別講解寫和讀的細節。一.hdfs寫流程 1 首先,客戶端利用hdfs client建立了distributed filesystem例項,再通過 distributed filesystem向namenode發起...

大資料入門與實戰 SQL基礎教程

學習資料為 sql基礎教程 日 mick 1.sql書寫的基本規則 建立資料庫 create database shop 建立表 use shop create table shoin product id char 4 not null comment 商品id product name varc...