學習進度筆記 Spark 環境搭建和使用

實驗前提以及安裝好hadoop和spark

1、使用 hadoop 提供的 shell 命令完成如下操作：

（1）啟動 hadoop，在 hdfs 中建立使用者目錄「/user/hadoop」；

（2）在 linux 系統的本地檔案系統的「/home/hadoop」目錄下新建乙個文字檔案 test.txt，並在該檔案中隨便輸入一些內容，然後上傳到 hdfs 的「/user/hadoop」目錄下；

（4）將hdfs中「/user/hadoop」目錄下的test.txt檔案的內容輸出到終端中進行顯示；

（5）在 hdfs 中的「/user/hadoop」目錄下，建立子目錄 input，把 hdfs 中「/user/hadoop」目錄下的 test.txt 檔案，複製到「/user/hadoop/input」目錄下；

（6）刪除hdfs中「/user/hadoop」目錄下的test.txt檔案，刪除hdfs中「/user/hadoop」目錄下的 input 子目錄及其子目錄下的所有內容。

2. spark 讀取檔案系統的資料

（1）在 spark-shell 中讀取 linux 系統本地檔案「/home/hadoop/test.txt」，然後統計出文件的行數；

（2）在 spark-shell 中讀取 hdfs 系統檔案「/user/hadoop/test.txt」（如果該檔案不存在，請先建立），然後，統計出檔案的行數；

（3）編寫獨立應用程式，讀取 hdfs 系統檔案「/user/hadoop/test.txt」（如果該檔案不存在，請先建立），然後，統計出檔案的行數；通過 sbt 工具將整個應用程式編譯打包成 jar 包，並將生成的 jar 包通過 spark-submit 提交到 spark 中執行命令。