6 RDD綜合練習 更豐富的操作

2022-10-10 01:24:10 字數 544 閱讀 2270

集合運算練習

內連線與外連線

join(), leftouterjoin(), rightouterjoin(), fullouterjoin()

多個考勤檔案,簽到日期彙總,出勤次數統計

三、綜合練習:學生課程分數

總共有多少學生?map(), distinct(), count()

開設了多少門課程?

每個學生選修了多少門課?map(), countbykey()

每門課程有多少個學生選?map(), countbyvalue() 

有多少個100分?

tom選修了幾門課?每門課多少分?map(),lookup()  list

6 RDD綜合練習 更豐富的操作

集合運算練習 內連線與外連線 join leftouterjoin rightouterjoin fullouterjoin 多個考勤檔案,簽到日期彙總,出勤次數統計 三 綜合練習 學生課程分數 持久化 scm.cache 總共有多少學生?map distinct count 開設了多少門課程?生成...

6 RDD綜合練習 更豐富的操作

多個考勤檔案,簽到日期彙總,出勤次數統計 reducebykey 是對key的value進行merge操作,在乙個 k,v 的rdd上呼叫,返回乙個 k,v 的rdd,使用指定的reduce函式,將相同key的值聚合到一起,與groupbykey類似,reduce任務的個數可以通過第二個可選的引數來...

spark複習筆記 6 RDD持久化

在spark中最重要的功能之一是跨操作在記憶體中持久化資料集。當你持久化乙個rdd的時候,每個節點都存放了乙個它在記憶體中計算的乙個分割槽,並在該資料集的其他操作中進行重用,持久化乙個rdd的時候,節點上的每個分割槽都會儲存到記憶體中,這使得將來的action更加的快。快取技術是迭代演算法和互動式查...