spark儲存到本地檔案

2021-09-05 09:40:46 字數 371 閱讀 1831

spark dataframe儲存到本地csv或者txt,會基於hahoop儲存為乙個資料夾如a.csv資料夾。

為了儲存為單一檔案的方式如下:

1.

df.coalesce(1).write.csv('result.csv')
coalesce(num),returns a newdataframethat has exactly numpartitions partitions.作為乙個整體返回。

2.topandas()

變為pandas的dataframe來儲存,用to_csv等介面,確定,要保證記憶體夠用,後者一些瑣碎檔案可以用mode=『a'追加的方式,不斷迴圈儲存為乙個csv到本地。

把資料儲存到本地

student.h import inte ce student nsobject property nonatomic,copy nsstring name property nonatomic,copy nsstring property nonatomic,assign nsinteger a...

根據模板生成word檔案並匯出儲存到本地

region 根據模板生成word檔案並匯出儲存到本地 microsoft.office.interop.word.document docfile null try object objtrue true object objfalse false object objdoctype micros...

根據模板生成word檔案並匯出儲存到本地

2012 01 04 17 37 105人閱讀收藏 舉報 region 根據模板生成word檔案並匯出儲存到本地 microsoft.office.interop.word.document docfile null try object objtrue true object objfalse f...