hadoop 基礎學習1

2021-08-03 15:44:30 字數 395 閱讀 8191

檔案系統的命令

1.複製檔案到hdfs

hadoop fs -copyfromloacl  e:\1.txt(本地路徑)   hdfs://localhost:9000/3.txt(hdfs的絕對路徑和儲存名稱)

hadoop fs -copyfromloacl  e:\1.txt(本地路徑)   3.txt(hdfs的相對路徑和儲存名稱)

2.建立資料夾

hadoop fs -mkdir books(資料夾名稱)

hadoop fs -mkdir -p books(資料夾名稱) 會把需要的上級目錄都一起建立好

3.顯示檔案列表

hadoop fs -ls

hadoop fs -ls file:///    顯示本地磁碟,c盤根目錄的檔案列表

Hadoop學習筆記1 初識Hadoop

資料越來越多,資料的增長越來越快,儲存和分析這些資料成為挑戰!當資料量逐漸變大時,單個磁碟的讀寫速度成為瓶頸。解決辦法是,將資料分散儲存,通過並行讀取提高讀寫資料。要達到這種目的,面臨的2個問題 hadoop的hdfs和mapreduce為這兩個問題提供了解決方案。為什麼不能用關係型資料庫 更多磁碟...

學習hadoop總結(1)

經過了痛苦的一段時間,現在終於發現了,自己原來也是可以走進大資料的殿堂的,不說別的,就拿命令列來說,個人是比較上心的,比如有一些命令總是忘記,就會一遍一遍的找到練習,然後再重複之前的操作,來來回回不下幾十次。總結如下 資料節點是檔案系統中真正儲存資料的地方。從元資料節點 secondary name...

hadoop學習筆記1

hadoop是什麼?是乙個開源的分布式計算平台。解決兩個問題 1 海量資料的儲存 hdfs 分布式檔案系統 2 海量資料的分析 mapreduce 平行計算框架,離線 hadoop生態圈 hadoop ecosystem map hadoop核心 hdfs,mapreduce,yarn yet an...