SparkDataSource的隨手筆記分享

2021-12-30 08:47:55 字數 657 閱讀 5450

真的只是個隨手筆記。記錄下一些操作過程。

最近需要實現一些spark邏輯計畫和物理計畫的優化,遂打算寫一點簡單的資料來源來測試。突然想到了oracle常見的scott/tiger裡的資料。遂打算使用該資料。

畢竟裝oracle是個大工程,沒有必要為了做個測試單獨安裝乙個oracle,於是用docker,這裡推薦一下阿里的docker oracle映象庫:

按照其方式啟動oracle映象並sqlplus登入sysdba以後,為了確保scott/tiger沒有被鎖,還是做了一下解鎖操作:

sql> alter user scott account unlock;然後退出sqlplus並用scott/tiger重新登入sysdba,並且檢視scott的表:

sql> select table_name from user_tables;

table_name

------------------------------

dept

empbonus

salgrade沒有問題。

在此只做一些簡單的測試,所以並沒有使用jdbc方式在test類裡獲取資料,而是直接拿了一些資料hard code在test類裡。

實現了簡單的謂詞下推功能。詳細datasource**見github,裡面還包含了乙個tpc-ds的datasource:

oracle隨手筆記

1.儲存過程中is和as沒區別檢視 用is 游標 用as 不能反過來,其他情況沒區別 2.trim是用來去除字串開頭和結尾的函式 用法 select trim leading trailing both 你要刪的東西 from 被刪的字串 test trim from dual both後面沒有引數...

C 隨手筆記

成員變數在使用初始化列表初始化時,與建構函式中初始化成員列表的順序無關,只與定義成員變數的順序有關。因為成員變數的初始化次序是根據變數在記憶體中次序有關,而記憶體中的排列順序早在編譯期就根據變數的定義次序決定了。這點在effectivec 中有詳細介紹。如果不使用初始化列表初始化,在建構函式內初始化...

MySql隨手筆記

1,acid 資料庫事務正常執行的四個基本要素 2,多表查詢的三種連線方式,2.1 交叉連線,表1cross join 表2。查詢兩張表的結果,不會對錶的結果過濾,使用場景很少。返回的結果集是兩張表的笛卡爾集,比如第一張表 有4條記錄,第二張表有4條記錄,即4 4 16條。2.2 內連線,selec...