Spark聽課筆記 5

第16課

spark rdd操作的種類

transform

action （觸發結果的作業，取結果）

controller （checkpoint，persist， including cache）

map(f:t=>u), u型別的集合產生新的rdd

reduce(f:(t,t)=>t), 元素之間要符合交換律（沒有資料order）和結合律（必須能結合才能reduce嘛，比如相加）

lazy的好處就是，步驟越多，優化的空間越大嘛。

var lines = sc.textfile()

val linestuple = lines.map(line => (line,1)) // 每一行變成行的內容與1構成的tuple
val timeskv linestuple.reducebykey(_+_)
timeskv.collect.foreach(pair => println(pair._1 + ":" + pair._2))

好像知乎上評價不高？我比較後知後覺，作為spark入門應該還不錯吧。在2023年才開始看。。。

突然看到課程桌布。 who』s ted williams? 感覺有點像新東方的忽悠勁，至少聽著不累！！！

聽課筆記 三

任何變數未經宣告就賦值屬於全域性變數,為全域性物件所有 a 123 一切宣告的全域性變數,全是window的屬性 var a 123 function test var a b 123 b屬於window,因為b未宣告就被賦值,暗示性變數 過程 1 建立ao物件 執行期上下文 2.找函式形參和變數宣...

spring聽課筆記

spring預設的事務回滾原則 unchecked exception或者範圍小點說 runtimeexception時事務會回滾 而checkedexception事務不會回滾，如空指標異常 spring解決中文亂碼問題 新增spring 內建的過濾器 org.springframework.we...

Oracle聽課筆記

資料庫物件 又稱模式物件 同義詞是現有物件的乙個別名 作用1.簡化sql 2.隱藏物件名稱和所有者 3.提供對物件的公共訪問 私有同義詞 create synonym emp syn for scott.emp 公有同義詞 create public synonym emp syn for scot...