job 觸發原始碼分析

2021-09-22 23:13:02 字數 579 閱讀 1543

基礎 wordcount.scala 小應用

(1)val lines = sc.textfile()

(2)val words = lines.flatmap(line => line.split(" "))

(3)val pairs = words.map(word => (word, 1))

(4)val counts = pairs.reducebykey(_ + _)

(5)counts.foreach(count => println(count._1 + ": " + count._2))

3.map() 方法存在於 rdd.scala 裡面,進行聚合操作

4.對rdd呼叫reducebykey()方法的時候,會觸發scala的隱式轉換;

在rdd.scala中找到了rddtopairrddfunctions()隱式轉換,然後將rdd轉換為pairrddfunctions,再次呼叫reducebykey()方法

5.foreach()方法中,存在 sparkcontext.runjob 方法,再次呼叫dagscheduler.runjob 方法,進行任務的真實觸發

流程圖待附

job觸發流程原理剖析與原始碼分析

以wordcount流程解析 val lines sc.textfile def textfile path string,minpartitions int defaultminpartitions rdd string withscopeval words lines.flatmap line ...

Linux驅動開發原始碼分析

目錄 一 前言 二 驅動開發步驟分析 1驅動模組都有兩個函式 2實現初始化函式和退出函式 3初始化函式分析 3.1通過函式register chrdev 註冊如下結構體 3.2通過裝置類函式class register 註冊 3.3呼叫spi register driver 4退出函式分析登出spi...

Android開發 原始碼資源彙總

全網最全的android遊戲原始碼彙總 androidui設計之高仿系列 全網最全的android原始碼彙總 幾百個android原始碼 不斷更新中 contentprovider專題 android多執行緒開發專題 github開源專案總結 匯集的幾十個android原始碼 android開源專案...