sparksql的前身是shark。由於shark自身的不完善，2023年6月1日reynold xin宣布：停止對shark的開發。sparksql拋棄原有shark的**，汲取了shark的一些優點，如記憶體列儲存（in-memory columnar storage）、hive相容性等，重新開發sparksql。
spark-1.1 ：2023年9月11日，發布spark1.1.0。spark從1.0開始引入sparksql（shark不再支援公升級與維護）。spark1.1.0變化較大是sparksql和mllib
spark-1.2 : 開始支援外部資料來源
spark-1.3 ： 增加 dataframe新api
spark-1.4 ： 增加 分析開窗函式
spark 1.5 ： hive中有udf與udaf，spark中對udf支援較早，udaf：user defined aggregate function。使用者自定義聚合函式，是直到spark 1.5.x才引入的最新特性。參考文章： spark編寫udaf自定義函式
spark-1.6 ： 執行的sql中可以增加 "--" 注釋 spark-1.5/1.6的新特性
spark-2.x ： jdk強依賴1.8
版本公升級 Harbor版本公升級
本文只適用於harbor的版本大於v1.10.x到最新版本的公升級遷移，docker compose啟動的harbor。主要參考了官網的公升級指南，根據實際情況我稍微調整了下步驟。詳情請參考 此次測試是從版本v2.0.1公升級到v2.1.2 cd root wget2.解壓檔案到當前目錄 tar x...
mysql版本公升級命令 mysql版本公升級
版本公升級 mysql版本很多，有5.5,5.6,5.7都可能,有時候我們的目的是公升級資料庫版本.公升級的方法有兩種，第一種就是用mysqldump方式來操作，因為匯出來就是sql語句，所以直接導進去新庫就是公升級了。例如 在舊庫匯出 mysqldump uroot p h10.0.2.4 p33...
公升級mysql版本 mysql版本手動公升級
步驟 0x00 備份原來 phpstudy 中 mysql 安裝目錄 0x01 basedir d phpstudy mysql datadir d phpstudy mysql data 0x02 把 mysql 安裝路徑新增至系統環境變數 過程 計算機 系統屬性 高階系統配置 環境變數 選擇pa...