Spark程式設計模型 RDD

2021-08-21 04:55:25 字數 2107 閱讀 4486

spark程式設計模型是彈性分布式資料集(resilient distributed dataset,rdd),是mapreduce模型的擴充套件和延伸;

** 基於rdd機制實現了多類模型計算,如:**

1. 迭代計算;

2. 互動式sql查詢;

3. mapreduce rdd;

4. 流式資料處理。

markdown 是一種輕量級標記語言,它允許人們使用易讀易寫的純文字格式編寫文件,然後轉換成格式豐富的html頁面。 —— [ 維基百科 ]

使用簡單的符號標識不同的標題,將某些文字標記為粗體或者斜體,建立乙個鏈結等,詳細語法參考幫助?。

本編輯器支援markdown extra,  擴充套件了很多好用的功能。具體請參考github.

markdown extra**語法:

專案**

computer

$1600

phone

$12pipe

$1可以使用冒號來定義對齊方式:

專案**

數量computer

1600 元

5phone

12 元

12pipe

1 元234

###定義列表

markdown extra定義列表語法:

專案1專案2

: 定義 a

: 定義 b

專案3

定義 c

定義 d

定義d內容

**塊語法遵循標準markdown**,例如:

@requires_authorization

defsomefunc

(param1=

'', param2=0)

:'''a docstring'''

if param1 > param2:

# interesting

print

'greater'

return

(param2 - param1 +1)

ornone

class

someclass

:pass

>>

> message =

'''interpreter

... prompt'''

###腳注

生成乙個腳注1

.用[toc]來生成目錄:

離線寫部落格

使用mathjax渲染latex 數學公式,詳見math.stackexchange.com. x=−

b±b2

−4ac

2a

x = \dfrac}

x=2a−b

±b2−

4ac​

​ 更多latex語法請參考 這兒.

可以渲染序列圖:

或者流程圖:

即使使用者在沒有網路的情況下,也可以通過本編輯器離線寫部落格(直接在曾經使用過的瀏覽器中輸入write.blog.csdn.net/mdeditor即可。markdown編輯器使用瀏覽器離線儲存將內容儲存在本地。

使用者寫部落格的過程中,內容實時儲存在瀏覽器快取中,在使用者關閉瀏覽器或者其它異常情況下,內容不會丟失。使用者再次開啟瀏覽器時,會顯示上次使用者正在編輯的沒有發表的內容。

部落格發表後,本地快取將被刪除。

使用者可以選擇 把正在寫的部落格儲存到伺服器草稿箱,即使換瀏覽器或者清除快取,內容也不會丟失。

**注意:**雖然瀏覽器儲存大部分時候都比較可靠,但為了您的資料安全,在聯網後,請務必及時發表或者儲存到伺服器草稿箱

##瀏覽器相容

ie9以下不支援

ie9,10,11存在以下問題

不支援離線功能

ie9不支援檔案匯入匯出

ie10不支援拖拽檔案匯入

這裡是腳注的 內容. ↩︎

spark學習 RDD程式設計

rdd建立 從從檔案系統中載入資料建立rdd 1.spark採用textfile 從檔案系統中載入資料建立rdd 可以使本地,分布式系統等 2.把檔案的url作為引數 可以是本地檔案系統的位址,分布式檔案系統hdfs的位址等等 從本地檔案中載入資料 sc為系統自動建立的sparkcontext,不用...

Spark學習 RDD程式設計基礎

spark上開發的應用程式都是由乙個driver programe構成,這個所謂的驅動程式在spark集群通過跑main函式來執行各種並行操作。集群上的所有節點進行平行計算需要共同訪問乙個分割槽元素的集合,這就是rdd rdd resilient distributed dataset 彈性分布式資...

Spark程式設計 建立初始RDD

有幾種建立初始 rdd 的方式 1.通過scala 集合建立 rdd 使用sparkcontext的parallelize方法,為scala集合的資料指定分片數,儲存到記憶體中。例如 sc.parallelize list 1,2,3 2 對list 1,2,3 進行並行化,並行度為2 把scala...