shuffle 元件mapoutputtracker 磁碟管理小檔案
1,主 mapoutputtrackermaster(存在於driver)
2,從 mapoutputtrackerworker(存在於executor)
blockmanager 塊管理者
1,blockmanagermaster(存在於driver)
1),diskstore 管理磁碟資料
2),memorystore 管理記憶體資料
3),connectionmanager 負責連線其他 blockmanager
4),blocktransferservice 負責拉取資料
2,blockmanagerworker(存在於executor)
1)也包含上述四項
spark 記憶體管理:1,spark 1.6之前使用靜態記憶體管理,之後使用統一記憶體管理
2,指定記憶體兩種方式:
1),在spark-submit 之中使用 --conf來指定
2),在**之中進行指定
3,在shuffle 聚合記憶體之中,第一次拉取資料能放的下,以後拉取記憶體不足，就會自動寫到磁碟之中(有延遲),如果第一次拉取資料不成功，會有oom問題
4,spark.shuffle.memoryfraction=false 表示使用的是統一記憶體機制
linux 記憶體定址
1 實體地址 虛擬位址及線性位址 2 虛擬位址到實體地址的過程 記憶體定址的過程可以簡單理解為虛擬位址到實體地址的轉換過程。程式設計師所使用的虛擬位址，並不是直接送到記憶體匯流排，而是被送到記憶體管理單元 mmu，由乙個或一組晶元組成是一種硬體電路，實現虛擬位址到實體地址的轉換 mmu包括分段機制和...
記憶體定址（上）
每乙個邏輯位址由乙個段位址和偏移位址組成。在有位址變換功能的計算機中,訪問指令給出的位址 運算元 叫邏輯位址,也叫相對位址。由一塊連續的虛擬記憶體空間組成。在80x86微處理器中是乙個32位無符號整數，可以用來表示4gb的位址，也就是4294967個記憶體單元。是計算機內的實際位址，它們與從微處理器...
記憶體定址 筆記
方括號內的組建屬於硬體電路 memory arbiter記憶體仲裁器，介於匯流排和ram之間，用於判斷序列讀寫的ram此時能否被訪問。邏輯位址 16位的段選擇符 segment selector 32位偏移量 offset 段選擇符存放於6個段暫存器裡 cs code segment 段暫存器，它含...