pyspark讀取csv文字儲存至MySQL案例

2022-06-08 19:51:12 字數 741 閱讀 4820

我們在使用spark處理完資料時,經常要將處理好的結果資料儲存的如mysql等關係型資料庫中,下面我們通過乙個示例說明如何將spark處理好的資料儲存到mysql

檔案student.csv

id,name,age

1,張三,23

2,李四,24

from pyspark.sql.session import sparksession as spark

studf = sc.read.csv('c:\\users\administrator\desktop\student.csv',header=true)

studf.show()

prop = {}

prop['user'] = 'root'

prop['password'] = 'root'

prop['driver'] = 'com.mysql.jdbc.driver'

sc.stop()

問題及坑:

該解決方案是基於windows環境配置的pyspark

解決方案:

pyspark讀取csv檔案建立DataFrame

mark一下,感謝作者分享!方法一 用pandas輔助 from pyspark import sparkcontext from pyspark.sql import sqlcontext import pandas as pd sc sparkcontext sqlcontext sqlcont...

Excel 讀取CSV文字

option explicit csv形式 5 読 込 subread textfile const cnstitle 読 込 処理 const cnsfilter csv形式 csv csv,全 dim intff as integer freefile値 dim strfilename as s...

Pyspark讀取parquet資料過程解析

parquet資料 列式儲存結構,由twitter和cloudera合作開發,相比於行式儲存,其特點是 可以跳過不符合條件的資料,只讀取需要的資料,降低io資料量 壓縮編碼可以降低磁碟儲存空間,使用更高效的壓縮編碼節約儲存空間 只讀取需要的列,支援向量運算,能夠獲取更好的掃瞄效能。那麼我們怎麼在py...