執行spark 命令
1.ssh 主機id 鏈結測試環境ip
2.輸入使用者名稱和密碼
3.輸入 cd ... 到根目錄（返回cd .. 到上級目錄）
4.輸入 pwd到根目錄
5.輸入 ls檢視根目錄下的資料夾
6.輸入 cd project 進入所在資料夾（直接進入某個目錄：cd /project/projectshell）
7.輸入 ll 檢視資料夾下 project 的所有檔案大小及建立時間
8.繼續輸入cd與ll指令，直到找到相應的sh檔案
9.輸入 cat file.sh 顯示該資料夾的指令資訊
10. 輸入 ./file.sh 引數 執行spark
部署 spark指令碼
1.找到相應的部署資料夾
2.在檔案路徑下新建資料夾 touch test.sh
3.輸入 chmod+x test.sh 給文夾test.sh加操作許可權
4.vim test.sh 在test.sh資料夾中 輸入執行檔案的指令 儲存指令為spark分配環境
部署 spark的jar包
1.進入相應的資料夾下cd 資料夾
2.輸入 rz(如果是大檔案，需要輸入 rz -be）指令，enter
3.選擇jar包enter
4.rm -rf 目錄名字 刪除某個資料夾
部署安裝 Spark
前言 spark簡介 spark是整個bdas的核心元件，是乙個大資料分布式程式設計框架，不僅實現了mapreduce的運算元map 函式和reduce函式及計算模型，還提供更為豐富的運算元，如filter join groupbykey等。是乙個用來實現快速而同用的集群計算的平台。spark將分布...
Spark單機部署
spark版本選型 spark解壓安裝 上傳spark安裝包 cd home spark soft spark安裝包存在路徑 tar zxvf spark 2.1.2 bin hadoop2.7.tgz 解壓 ln s spark 2.1.2 bin hadoop2.7 spark 方便起見可以建立...
xshell安裝資料庫步驟
第一步 在linux下解壓檔案 第二步 安裝之前先執行 解除安裝掉centos7自帶的mariadb lib 1 查詢mariadb資訊 rpm qa grep mariadb 2 使用rpe e命令解除安裝 rpm e mariadb libs 5.5.64 1.el7.x86 64 nodeps...