筆記：本文記錄了map和flatmap的區別
flatmap方法和map方法類似，但是每個輸入項可成為0個或多個輸出項，實際上是在map的基礎上進行了扁平化處理。
形象化理解map和flatmap：
3 map接龍：連續呼叫map方法
形式如下：data.map().map().map()
val rdd=sc.textfile（「c:建立rdd檔案路徑
.map(_.split(' '))//按「 」分割
.map(_.todouble))//轉換成double型別
.map(line=>vectors.dense(line)//轉換成vector格式
參考文章：
Spark 中 map 與 flatMap 的區別
通過乙個實驗來看spark 中 map 與 flatmap 的區別。步驟一 將測試資料放到hdfs上面 hadoopdfs put data1 test1.txt tmp test1.txt 該測試資料有兩行文字 步驟二 在spark中建立乙個rdd來讀取hdfs檔案 tmp test1.txt 步...
Spark 中map與 flatMap的區別
進入spark安裝目錄，執行.spark shell 步驟一 將測試資料放到hdfs上面 hadoop dfs put data1 test1.txt tmp test1.txt 該測試資料有兩行文字 該測試資料有兩行文字 步驟二 在spark中建立乙個rdd來讀取hdfs檔案 tmp test1....
Spark 中 map 與 flatMap 的區別
通過乙個實驗來看spark 中 map 與 flatmap 的區別。步驟一 將測試資料放到hdfs上面 hadoopdfs put data1 test1.txt tmp test1.txt 該測試資料有兩行文字 步驟二 在spark中建立乙個rdd來讀取hdfs檔案 tmp test1.txt 步...