一.hdfs命令列
hadoop help命令的使用
1.hadoop -help查詢所有hadoop shell支援的命令
這是hadoop下的乙個分布式複製程式，可以在不t同的hdfs集群間複製資料，也可以在本地檔案間複製資料。
將/test/test.txt檔案複製到/test/cp下面：hadoop distcp/test/test.txt/test/cp
將master1集群/test目錄(包含內容)複製到master2集群/test_cp目錄下：
hadoop distcp hdfs://master1/test hdfs://master2/test_cp
3.使用者可以把mapreduce****到jar檔案中，使用這個jar檔案
命令格式：hadoop jar [mainclass]arges
4.archive 建立乙個hadoop存檔檔案，這是一種特殊的文件格式。乙個hadoop archive對應乙個檔案系統目錄。hadoop archive的擴充套件名為*.har。可以將檔案寫入hdfs塊，一定程度上解決了大量小檔案耗費namenode節點的現象，同時允許對檔案的透明訪問。
命令格式：hadoop archive-archivename*
命令選項：
-archivename 要建立存檔檔案的名字
src 檔案系統的路徑名，和通常含正規表示式一樣
dest 儲存存檔檔案的目錄索引目標
for example:
1.hadoop archive-archivename part-20170906-0.har -p/input/ child1 child2/ah_input/har
2.檢視歸檔後的目錄結構：hadoop fs-lsr/
3.檢視結果檔案part -0的內容：hadoop fs-cat /test/in/har/0825.har/part-0
4.使用har uri訪問原始資料
har是hdfs之上的乙個檔案系統，因此所有fs shell命令對har檔案有用，只不過路徑格式不一樣
hadoop -lsr har://ah_input/har/part-20170906-0.har
5. 用har uri訪問下一級目錄
hdfs dfs-lsr har://ah_input/har/part-20170906-0.har/input
6.遠端訪問
hadoop fs-lsr har://master:8020/ah_input/har/part-20170906-0.har
其中master是namenode所在節點的主機名，8020是core-site.xml檔案中的fs.defaultfs引數配置中對應的埠號
7.刪除har檔案
必須使用rmr命令來刪除har檔案，rm命令是不行的
hadoop fs-rmr/ah_input/har/part-20170906-0.har
除此之外，har還可以作為mapreduce的輸入進行使用。
hdfs常用命令行操作
1.dfsadmin -help
help命令會在螢幕客戶端列出dfsadmin下的命令的列表及語法的命令格式的幫助資訊
hadoop dfsadmin -help
2.report
-report [-live][-dead][-decommissioning]:報告hdfs的基本資訊和統計資訊
3.safemode
-safemode:安全模式維護命令，可以說它是namenode狀態。處於安全模式時，它不接受對空間名字的修改(即唯讀)，同時它不複製或刪除塊。在namenode啟動時，系統自動進入安全模式，當配置最小的block百分比滿足最小的複製條件時，就會自動離開安全模式。安全模式也可以手動輸入，此時只能手動關閉。
4.job -history 看歷史日誌彙總
5.dfs- mkdir在dfs建立目錄
hadoop dfs- mkdir/testmkdir
6.fs- put該命令上傳本地file到hdfs指定目錄
7.fs-lsr檢視所有檔案以及所在的目錄資訊
8.fs- cat檢視hdfs上的檔案內容
9.fs-rm刪除指定檔案
10.fs-rm-r 刪除hdfs上的資料夾以及資料夾的內容
11.fs-chmod更改hdfs檔案許可權
-r唯讀許可權
-w寫入許可權
-rw讀寫許可權
-x執行許可權
hdfs中檔案及資料夾許可權
利用如下命令檢視hdfs中根目錄中存在的檔案及資料夾 hadoop fs ls 現在我的hdfs中儲存的檔案及資料夾的情況如下所示 found 4 items rw r r 1 hadoop supergroup 108472 2017 08 08 10 25 extundelete 0.2.4.t...
flume的檔案跟蹤配置 資料夾 hdfs
1.建立配置檔案 vim dir hdfs.conf spooldir flume中自帶的讀取目錄的source，只要出現新檔案就會被讀走 定義三大元件的名稱 ag1.sources source1 ag1.sinks sink1 ag1.channels channel1 配置source元件 a...
hdfs常用檔案命令
為了每次執行hadoop的時候，不必須要前者加上hadoop的安裝的絕對路徑，要做的事情就是將其安裝路徑加入到path中，這樣就可以直接執行hadoop命令。如下 vim etc profile中加入一句 export hadoop install home hadoopcluster hadoop...