Spark SQL執行流程解析之 sql執行順序

2021-09-26 02:34:20 字數 389 閱讀 3611

一.spark sql模板解析

spark sql 關鍵字執行順序跟sql執行順序類似:

1.先將from前兩表做笛卡爾積載入進來形成虛擬表vt1,

2.on條件後為真的插入虛擬表形成vt2,

如果包含多個表,重複操作,

完成所有資料載入後, 開始對形成的大虛擬表vt2進行處理, 

3.where 後為真的插入vt3

4.group by 進行行分組形成vt4

5.cube|roll up:超組形成vt5

6. hiving: 為true的插入vt6

7.select :形成vt7

8.distinct:形成vt8

10.order by形成vt9

11.top:形成vt10

mysql解析流程 mysql執行流程解析

mysql 可以分為 server 層和儲存引擎層兩部分 server 層包括聯結器 查詢快取 分析器 優化器 執行器等,涵蓋 mysql 的大多數核 心服務功能,以及所有的內建函式,所有跨儲存引 擎的功能都在這一層實現,比如儲存過程 觸發器 檢視等 而儲存引擎層負責資料的儲存和提取。其架構模式是外...

spark基礎之spark sql執行原理和架構

一 spark sql執行架構 spark sql對sql語句的處理和關係型資料庫類似,即詞法 語法解析 繫結 優化 執行。spark sql會先將sql語句解析成一棵樹,然後使用規則 rule 對tree進行繫結 優化等處理過程。spark sql由core catalyst hive hive ...

Vue執行流程解析

引言 相信絕大多數的前端小夥伴已記不清做了多少專案,寫了多少 了,每個人如同教科書般地寫著vue 單檔案元件中常見 export default methods 入口檔案中的常見 new vue 一切都顯得那麼自然。不過在百忙之中是否有小夥伴想過,乙個小小的vue例項怎麼有這麼大的能量,竟然可以構建...