spark Local本地安裝部署

2021-10-13 05:50:42 字數 931 閱讀 5746

上傳安裝包

解壓目錄說明

bin:可執行指令碼

conf:配置檔案

data:示例程式使用資料

examples:示例程式

jars:依賴 jar 包

python:pythonapi

r:r 語言 api

sbin:集群管理命令

yarn:整合yarn需要的東西

啟動spark-shell

spark-shell說明

./spark-shell

表示使用local 模式啟動,在本機啟動乙個sparksubmit程序

指定引數 --master

spark-shell --master local[n] 表示在本地模擬n個執行緒來執行當前任務

spark-shell --master local[*] 表示使用當前機器上所有可用的資源

不攜帶引數(預設)

spark-shell --master local[*]

退出spark-shell

使用 :quit

Watir 本地安裝

網路安裝需要太長時間,而且第一次安裝似乎還不成功 另外個人也還是比較習慣於本地安裝,所以尊重下自己吧。安裝過程很簡單,只要注意選擇元件時選中 enable rubygems 即可。安裝 進入命令列模式,到該gem的存放目錄,輸入gem update system。很奇怪,有些機器上這一步會失敗 沒關...

chocolatey本地安裝

本人在按照 chocolatey官網 上的教程安裝時,出現net.webclient出錯的問題 ghost版系統。於是轉向本地安裝。方法如下 1.衝 github 下載chocolatey專案包,解壓。2.在管理員許可權下的powershell cmd中執行專案根目錄下的 setup.ps1指令碼檔...

本地安裝wp

1.lamp環境 l ubuntu a sudo apt get install apache2 m sudo apt get install mysql server p sudo apt get install php7.0 可能需要apache php 工具鏈 sudo apt get ins...