spark map函式中使用println無法輸出

2021-09-23 17:04:27 字數 560 閱讀 9906

// 每個點為harddata中的乙個array

val harddata = spark.read.

textfile

(args(0

)).rdd

.map(_.

split

(" ").

map(_.todouble)

.toarray)

.cache()

harddata.

map(a =>

println(a

(0).tostring +

" "+a(

1).tostring +

" "+a(

3).tostring)

)

結果中沒有輸出

解決參考

由於spark面向大資料量和分布式,在使用map函式輸出時存在各種問題:可能輸出到各個主機、資料量過大等問題。

因此,spark在設計時使map函式中不能使用println輸出資訊流

將map函式改為foreach則有輸出…

或者在後面加個foreach函式

在vue中使用highmaps並引入proj4js

最近公司有個需求,需要在中國地圖上顯示各省,市 直轄市,區 縣等顯示使用者使用量,本來有兩種實現方式,但設計圖是採用氣泡圖形式展現的,所以就研究了一下highcharts的氣泡圖 demo效果圖如下 在vue專案中使用氣泡圖碰到了兩個問題 1 使用氣泡圖需要用到proj4.js,但是在vue中引入時...

makefile中使用函式

一 編譯需要的檔案 1 file1.h ifndef file1 h define file1 h ifdef cplusplus extern c endif endif2 file1.cpp include include file1.h using namespace std void fil...

Vue render 函式中使用this

1.在render中直接使用this,on裡面click函式不是箭頭函式 使用this需要在父級將this儲存起來才能使用 render h,params params let this this return h div style on this.previewurl row.picture t...