學習hadoop總結(1)

2021-07-09 17:30:19 字數 1858 閱讀 8639

經過了痛苦的一段時間,現在終於發現了,自己原來也是可以走進大資料的殿堂的,不說別的,就拿命令列來說,個人是比較上心的,比如有一些命令總是忘記,就會一遍一遍的找到練習,然後再重複之前的操作,來來回回不下幾十次。

總結如下:

資料節點是檔案系統中真正儲存資料的地方。

從元資料節點(secondary namenode)

1.2.1、元資料節點資料夾結構

1.2.2、檔案系統命名空間映像檔案及修改日誌

1.2.3、從元資料節點的目錄結構

1.2.4、資料節點的目錄結構

當客戶端結束寫入資料,則呼叫stream的close函式。此操作將所有的資料塊寫入pipeline中的資料節點,並等待ack queue返回成功。最後通知元資料節點寫入完畢。

附:用到的命令

tar -zxvf ***x.tar   解壓縮tar包

mkdir ***x/   建立目錄

rm -rf ***x   刪除檔案

mv ***x ***x  移動檔案從乙個目錄到另乙個目錄(也可以是同乙個目錄,也用於重新命名)

vim ****** 編輯檔案(i--編輯模式  esc----退出編輯   :q!----退出    :wq!----退出並儲存)

echo $***x   列印某一變數路徑

alias  a="***xx" 別名(具體的雙引號內是需要執行的命令,用乙個別名代替這個命令)

hadoop namenode -format  格式化hadoop

hadoop fs -put  ***xx檔案  hdfs://***x:***x/xx/  上傳檔案到hdfs檔案系統中

hadoop jar hadoop-example-x.x.x.jar  wordcount hdfs://***x:***x/input/  hdfs://***x:***x/output/   執行wordcount程式,計算單詞出現的次數

hadoop fs -mkdir hdfs://***x:***x/***x 建立目錄

hadoop fs -ls hdfs://***x:***x/   檢視目錄下的檔案

hadoop fs -lsr hdfs://***x:***x/  檢視目錄下檔案的詳細資訊

hadoop學習總結

1 sbin目錄 存放啟動或停止hadoop相關服務的指令碼 2 bin目錄 存放對hadoop相關服務 hdfs,yarn 進行操作的指令碼 3 etc目錄 hadoop的配置檔案目錄,存放hadoop的配置檔案 4 share目錄 存放hadoop的依賴jar包和文件,文件可以被刪除掉 5 li...

Hadoop學習總結

hadoop定義 hadoop元件 分布式檔案系統hdfs 維護hdfs檔案系統,是檔案系統的主節點,不儲存檔案資料 記錄了客戶端的操作日誌 edits 儲存了hdfs的最新狀態 edits檔案儲存了自最後一次檢查點之前的對hdfs的操作資訊,比如說新增檔案,儲存檔案,刪除目錄等資訊。儲存目錄為 t...

Hadoop學習筆記1 初識Hadoop

資料越來越多,資料的增長越來越快,儲存和分析這些資料成為挑戰!當資料量逐漸變大時,單個磁碟的讀寫速度成為瓶頸。解決辦法是,將資料分散儲存,通過並行讀取提高讀寫資料。要達到這種目的,面臨的2個問題 hadoop的hdfs和mapreduce為這兩個問題提供了解決方案。為什麼不能用關係型資料庫 更多磁碟...