spark寫sql語句範例

2021-09-11 18:54:27 字數 1113 閱讀 8345

//建立乙個sparksession物件

val sparksession = sparksession.

builder()

.("createdf2").

master

("local").

getorcreate()

val rdd = sparksession.sparkcontext.

textfile

("c://data/person.txt"

)//整理資料,row型別

val rowrdd = rdd.

map(line=

>

)//scheme:定義dataframe裡面元素的資料型別,以及對每個元素的約束

val structtype =

structtype

(list

(structfield

("id"

,longtype,

true),

structfield

("name"

,stringtype,

true),

structfield

("age"

,integertype,

true),

structfield

("facevalue"

,doubletype,

true))

)//將rowrdd和structtype關聯

val df:dataframe = sparksession.

createdataframe

(rowrdd,structtype)

//建立乙個檢視

df.createorreplacetempview

("tperson"

)//基於註冊的檢視寫sql

val res:dataframe = sparksession.

sql(

"select name,age from tperson order by age asc"

)res.

show()

sparksession.

stop

()

SQL語句能這樣寫? 拆分SQL語句

在寫dal層的時候,對資料庫的操作僅用到增刪改查,卻要寫那麼多方法來應對功能上的需求,為了圖個方便,我進行了一次大膽的嘗試 將查詢內容全部引數化,提高sql語句的功能。思路如下 根據需要更新商品某欄位 public int updategoods goodsinfo goods,string fie...

mysql語句如何寫排名 用sql語句寫排名

使用sql語句求排名 表jh03有下列資料 name score aa 99 bb 56 cc 56 dd 77 ee 78 ff 76 gg 78 ff 50 1.名次生成方式1 score重複時合併名次 select place select count distinct score from ...

聯合主鍵,SQL語句怎麼寫?

主鍵是資料庫表的乙個重要屬性,建立主鍵可以避免表中存在完全相同的記錄,也就是說主鍵在一張表中的記錄值是唯一的。建立主鍵有兩種方法 一種是在資料庫提供的gui環境中建立,另一種是通過sql語句執行建立,下面分別介紹。1.在資料庫提供的gui環境中建立 以sql7為例 輸入表資訊後按ctrl鍵同時選中多...