實驗報告七 Spark安裝配置

2021-09-23 17:23:07 字數 1753 閱讀 2948

二、傳輸

將壓縮包從windows傳輸到linux當前目錄下:

三、解壓

四、重新命名

(1)把scala-2.12.8 重新命名為 scala

執行命令

mvs cala-2.12.8 scala

(2)把 spark-2.4.3-bin-hadoop2.7 重新命名為 spark

執行命令

mv spark-2.4.3-bin-hadoop2.7 spark

四、測試scala是否安裝成功

scala -version為命令

五、啟動scala與啟動spark

1、啟動scala

2、啟動spark

(1)先啟動hadoop 環境

(2)啟動spark環境

進入到spark_home/sbin下執行start-all.sh

[注] 如果使用start-all.sh時候會重複啟動hadoop配置,需要./在當前工作目錄下執行命令

jps 觀察程序 多出 worker 和 mater 兩個程序。

檢視spark的web控制頁面:http://fyl001:8080/

顯示spark的埠是7070

(3)啟動spark shell

此模式用於interactive programming,先進入bin資料夾後執行:spark-shell

securecrt 下 spark-shell 下scala> 命令列無法刪除

(4)此模式用於interactive programming,先進入bin資料夾後執行:spark-shell

securecrt 下 spark-shell 下scala> 命令列無法刪除

六、使用spark shell編寫**

1、讀取本地件

2、顯示第一行內容

3、對上述hdfs根目錄下f1.txt檔案進行詞頻統計

4、檢視結果

spark安裝與配置完畢。

C語言程式設計實驗報告 實驗七

1.掌握函式的概念,分類,定義和呼叫。2.熟練編寫函式實現特定的通用功能。硬體要求 計算機一台。軟體要求 windows作業系統,dev c 或vc 6.0編譯環境 寫乙個函式,用 選擇法 對輸入的5個字元按照由小到大順序排列。要求使用陣列作為函式引數。博主覺得,這道題目的演算法不是重點,重點是函式...

第七周實驗報告2

程式頭部注釋開始 程式的版權和版本宣告部分 檔名稱 體會成員函式 有元函式 一般函式的區別 作 者 王智凱 完成日期 2012 年 04 月 02 日 版 本 號 凱子 對任務及求解方法的描述部分 輸入描述 問題描述 程式輸出 程式頭部的注釋結束 include include using name...

第七周實驗報告2

對任務及求解方法的描述部分 輸入描述 問題描述 利用成員函式 友元函式和一般函式,實現三個版本的求兩點間距離的函式,並設計main 函式完成測試。此任務和上例的區別在於 距離是乙個點和另外乙個點的距離 引數個數上有體現。程式輸出 程式頭部的注釋結束 include includeusing name...