Spark 中 map 與 flatMap 的區別

2021-06-27 15:25:05 字數 759 閱讀 4576

通過乙個實驗來看spark 中 map 與 flatmap 的區別。

步驟一:將測試資料放到hdfs上面

hadoopdfs -put data1/test1.txt /tmp/test1.txt

該測試資料有兩行文字:

步驟二:在spark中建立乙個rdd來讀取hdfs檔案/tmp/test1.txt

步驟三:檢視map函式的返回值

得到map函式返回的rdd:

檢視map函式的返回值——檔案中的每一行資料返回了乙個陣列物件

步驟四:檢視flatmap函式的返回值

得到flatmap函式返回的rdd:

檢視flatmap函式的返回值——檔案中的所有行資料僅返回了乙個陣列物件

總結:- spark 中 map函式會對每一條輸入進行指定的操作,然後為每一條輸入返回乙個物件;

- 而flatmap函式則是兩個操作的集合——正是「先對映後扁平化」:

操作1:同map函式一樣:對每一條輸入進行指定的操作,然後為每一條輸入返回乙個物件

操作2:最後將所有物件合併為乙個物件

Spark 中map與 flatMap的區別

進入spark安裝目錄,執行.spark shell 步驟一 將測試資料放到hdfs上面 hadoop dfs put data1 test1.txt tmp test1.txt 該測試資料有兩行文字 該測試資料有兩行文字 步驟二 在spark中建立乙個rdd來讀取hdfs檔案 tmp test1....

Spark 中 map 與 flatMap 的區別

通過乙個實驗來看spark 中 map 與 flatmap 的區別。步驟一 將測試資料放到hdfs上面 hadoopdfs put data1 test1.txt tmp test1.txt 該測試資料有兩行文字 步驟二 在spark中建立乙個rdd來讀取hdfs檔案 tmp test1.txt 步...

Spark 中 map 與 flatMap 的區別

通過乙個實驗來看spark 中 map 與 flatmap 的區別。步驟一 將測試資料放到hdfs上面 hadoopdfs put data1 test1.txt tmp test1.txt 該測試資料有兩行文字 步驟二 在spark中建立乙個rdd來讀取hdfs檔案 tmp test1.txt 步...