1、dsl模式 【通過呼叫方法】
datafame.select("name").show
datafame.filter($"age" > 25).show
2、sql模式 【通過執行sql】
1、先建立一張表：
乙個sparkcontext可以多次建立 sparksession。
//session內可訪問， 乙個sparksession結束後，表自動刪除。
dataframe.createorreplacetempview("people") 使用表名不需要任何字首。
//應用級別內可訪問，乙個sparkcontext結束後，表自動刪除。
dataframe.createglobaltempview("people") 使用表名需要加上 "
global_temp." 字首， 比如 global_temp.people
2、執行sql
spark.sql("select * from people") 即可
Spark SQL執行原理和架構
一 spark sql執行架構 spark sql對sql語句的處理和關係型資料庫類似，即詞法 語法解析 繫結 優化 執行。spark sql會先將sql語句解析成一棵樹，然後使用規則 rule 對tree進行繫結 優化等處理過程。spark sql由core catalyst hive hive ...
spark sql 執行計畫生成案例
公尺妮中文網 乙個sql從詞法解析 語法解析 邏輯執行計畫 物理執行計畫最終轉換為可以執行的rdd，中間經歷了很多的步驟和流程。其中詞法分析和語法分析均有antlr4完成，可以進一步學習antlr4的相關知識做進一步了解。本篇文章主要對乙個簡單的sql生成的邏輯執行計畫物理執行計畫的做乙個簡單地說明...
spark sql 執行計畫生成案例
乙個sql從詞法解析 語法解析 邏輯執行計畫 物理執行計畫最終轉換為可以執行的rdd，中間經歷了很多的步驟和流程。其中詞法分析和語法分析均有antlr4完成，可以進一步學習antlr4的相關知識做進一步了解。本篇文章主要對乙個簡單的sql生成的邏輯執行計畫物理執行計畫的做乙個簡單地說明。case c...