程式設計的兩種方式執行Spark SQL查詢(方式二)

2021-08-15 09:55:24 字數 511 閱讀 8580

現在我們來實現在自定義程式中編寫spark sql查詢程式。

實現查詢的方式有兩種:

方式一:通過反射推斷schema。

方式二:通過structtype直接指定schema。

這次我們用方式二來實現自定義查詢。

具體程式如下:

package cn.allengao.sparksql

import org.apache.spark.

import org.apache.spark.sql.

import org.apache.spark.sql.types.

object specifyingschema

}

檢視執行結果參照方式一進行查詢。

對比總結:

1.case class模板類模式視覺化比較好。

2.case class模板類引數上限為22個,對於欄位多的不能使用。

3.程式設計方式更適合日常開發。

Python的兩種執行方式

python是由guido van rossum於1989年底發明的,1989年聖誕節期間,在阿姆斯特丹,guido為了打發聖誕節的無趣,決心開發乙個新的指令碼解釋程式,做為abc 語言的一種繼承。之所以選中python 大蟒蛇的意思 作為程式的名字,是因為他是乙個叫monty python的喜劇團...

Oracle執行有兩種方式

oracle資料有兩種方式 1 歸檔方式 archivelog 歸檔方式的目的在於當資料庫發生故障時最大限度恢復資料庫,保以保證不丟失任何已經提交的資料 2 不歸檔方 noarchivelog 只能恢復資料庫到最近的 點 冷備份或者邏輯備份 資料丟失是非常可能的。改變不歸檔方式為歸檔方式 切換資料的...

UIView 動畫的兩種程式設計方式

2011 09 18 unmi ios 中的 uiview 動畫程式設計其實還是很簡單的,像 css3 一樣,在給定的時間內完成狀態連續性的變化呈現。比如背景色,frame 大小,位移 翻轉,特明度等。以前我使用的程式設計方式都是用下面那樣的三段式處理 1 2 3 4 5 6 7 8 uiviewb...