spark sql 執行計畫生成案例

乙個sql從詞法解析、語法解析、邏輯執行計畫、物理執行計畫最終轉換為可以執行的rdd，中間經歷了很多的步驟和流程。其中詞法分析和語法分析均有antlr4完成，可以進一步學習antlr4的相關知識做進一步了解。

本篇文章主要對乙個簡單的sql生成的邏輯執行計畫物理執行計畫的做乙個簡單地說明。

case
class
person(name: string, age: long)
private def runbasicdataframeexample2(spark: sparksession): unit =

生成的邏輯和物理執行計畫，右側的是根據queryexecution的 tostring 方法，得到的對應結果

對關鍵原始碼，自己做了簡單的分析。如下圖：

其中sparksqlparser使用astbuilder生成unresolved logicalplan。

注意spark sql 從driver 提交經過詞法分析、語法分析、邏輯執行計畫、到可落地執行的物理執行計畫。其中前三部分都是 spark catalyst 子模組的功能，與最終在哪個sql執行引擎上執行並無多大關係。物理執行計畫是後續轉換為rdd的基礎和必要條件。

本文對spark sql中關鍵步驟都有一定的涉及，也可以針對queryexecution做後續的分析，建議修改sparksql 原始碼，做本地除錯。後續會進一步分析，主要結合《sparksql 核心剖析》這本書以及自己在工作學習中遇到的各種問題，做進一步原始碼分析