一些spark core的使用筆記,供以後參考

2022-06-30 15:48:12 字數 764 閱讀 1862

關閉連線

延遲計算:

資料的持久化:

bin/spark-submit \

--class org.apache.spark.examples.sparkpi \

--master 'local[2]' \

./examples/jars/spark-examples_2.12-3.0.0.jar \

10

(1)基本語法

bin/spark-submit \

--class --master \

--deploy-mode \

--conf =\

... # other options

(2)引數說明:

--master 指定master的位址,預設為local

--class: 你的應用的啟動類 (如 org.apache.spark.examples.sparkpi)

--deploy-mode: 是否發布你的驅動到worker節點(cluster) 或者作為乙個本地客戶端 (client) (default: client)*

--conf: 任意的spark配置屬性, 格式key=value. 如果值包含空格,可以加引號「key=value」

--executor-memory 1g 指定每個executor可用記憶體為1g

--total-executor-cores 2 指定每個executor使用的cup核數為2個

參考:

js的一些使用筆記

重新整理當前頁面 window.location.reload 跳轉到其他頁面 jquery ajax 寫法 ajax success function data 彈窗延時自動關閉小工具 layer 2.使用 layer.msg 彈窗 延遲兩秒關閉 參考 效果如圖 模板引擎thymeleaf無法識別...

關於Apktool的一些使用筆記

首先宣告一點,這是我網上依照別的大神的操作指引做的 2.點進你要解包的apk檔案所在資料夾,按shift 滑鼠右鍵進入命令列介面 這裡注意一點,我的系統是win10的,進入的是乙個powershell的介面 然後輸入命令apktool d 你的apk檔名,注意要帶字尾 這裡有個簡單的方法是直接拖ap...

自用筆記 linux終端的一些命令

1.tmux attach 終端復用器 terminal multiplexer 命令用於重新接入某個已存在的會話 2.ps process static 3.ubuntu系統各種檔案的顏色代表的意義 4.cat cat concatenate files and print on the stan...