深入理解Spark RDD RDD資訊物件

2021-09-26 02:48:51 字數 698 閱讀 3499

rddinfo用於描述rdd的資訊,rddinfo提供的資訊如下:

rddinfo還提供了以下方法:

**清單

1   iscached的實現

def iscached: boolean = (memsize + disksize > 0) && numcachedpartitions > 0
**清單

2   compare的實現

override def compare(that: rddinfo): int =
此外,rddinfo的伴生物件中定義了fromrdd方法,用於從rdd構建出對應的rddinfo,其實現見**清單3。

**清單

3  rddinfo伴生物件的fromrdd方法

private[spark] object rddinfo 

}

根據**清單

3,fromrdd方法的執行步驟如下:

獲取當前rdd的名稱(即name屬性)作為rddinfo的name屬性,如果rdd還沒有名稱,那麼呼叫utils工具類的getformattedclassname方法(見附錄a)生成rddinfo的name屬性。

獲取當前rdd依賴的所有父rdd的身份標識作為rddinfo的parentids屬性。

建立rddinfo物件。

深入理解C語言 深入理解指標

關於指標,其是c語言的重點,c語言學的好壞,其實就是指標學的好壞。其實指標並不複雜,學習指標,要正確的理解指標。指標也是一種變數,占有記憶體空間,用來儲存記憶體位址 指標就是告訴編譯器,開闢4個位元組的儲存空間 32位系統 無論是幾級指標都是一樣的 p操作記憶體 在指標宣告時,號表示所宣告的變數為指...

mysql 索引深入理解 深入理解MySql的索引

為什麼索引能提高查詢速度 先從 mysql的基本儲存結構說起 mysql的基本儲存結構是頁 記錄都存在頁裡邊 各個資料頁可以組成乙個雙向鍊錶每個資料頁中的記錄又可以組成乙個單向鍊錶 每個資料頁都會為儲存在它裡邊兒的記錄生成乙個頁目錄,在通過主鍵查詢某條記錄的時候可以在頁目錄中使用二分法快速定位到對應...

深入理解C語言 深入理解指標

關於指標,其是c語言的重點,c語言學的好壞,其實就是指標學的好壞。其實指標並不複雜,學習指標,要正確的理解指標。指標也是一種變數,占有記憶體空間,用來儲存記憶體位址 指標就是告訴編譯器,開闢4個位元組的儲存空間 32位系統 無論是幾級指標都是一樣的 p操作記憶體 在指標宣告時,號表示所宣告的變數為指...