hdfs檔案操作
使用hadoop
使用者登入
linux
系統，啟動
hadoop
（hadoop
的安裝目錄為
「/usr/local/hadoop」
），為hadoop
使用者在hdfs
中建立使用者目錄
「/user/hadoop」
接著在hdfs的目錄
「/user/hadoop」
下，建立
test
資料夾，並檢視檔案列表
將linux系統本地的「～
/.bashrc」
檔案上傳到
hdfs
的test
資料夾中，並檢視
test
因為之前做過的緣故，所以會提示檔案存在
將hdfs資料夾
test
複製到linux
系統本地檔案系統的
「/usr/local/hadoop」
目錄下因為之前做過的緣故，所以會提示檔案存在
注意教材《大資料技術原理與應用》的命令是以」./bin/hadoop dfs」開頭的shell命令方式，實際上有三種shell命令方式。
1. hadoop fs
2. hadoop dfs
3. hdfs dfs
hadoop fs適用於任何不同的檔案系統，比如本地檔案系統和hdfs檔案系統
hadoop dfs只能適用於hdfs檔案系統
hdfs dfs跟hadoop dfs的命令作用一樣，也只能適用於hdfs檔案系統
暑假周進度報告（四）
hdfs體系結構 冷備份 發生故障以後，先停止一段時間，把一些資料從第二名稱節點慢慢恢復過來，恢復過來後再提供對外服務。hdfs儲存原理 冗餘資料儲存的問題 乙個資料塊會被預設儲存3份 可並行操作同一資料，加快資料傳輸速度 很容易檢查資料錯誤，有參照 保證資料可靠性 資料儲存策略的問題 2 資料讀取...
暑假周進度報告3
在本週中，學到了一些新工具，jdk api幫助文件的使用，在其中有 j a 所有類以及 j a 類的使用方法。在 j a 程式設計中可通過此檔案查詢對類的使用方法以及查詢導包。scanner random 以及arraylist 的使用，以上三個都屬於 l a.util 的類，在對 scanner ...
暑假周進度報告（二）
這一周我學習了一下linux shell指令碼，然後按照教程嘗試搭建hadoop平台。然後我把我搭建hadoop平台的過程寫成了一篇部落格 過程很艱辛，遇到了許多問題。有些問題就馬馬虎虎的過了，但是並沒有搭建完成，最後遇到了乙個問題沒法解決，於是就一直擱置著。然後我打算學習python。估計程式設計...