spark 中 postgresql資料庫使用

2021-09-01 22:15:48 字數 474 閱讀 8243

畢竟是號稱世界上最先進的資料庫,還是要會一點的

一:最近是在spark裡面使用,需要從資料庫中直接讀出資料構建dataframe,但是這裡有乙個坑點,我需要拿到每天的資料,但是如果不使用spark.sql()執行sql語句,而是使用其他api,就涉及乙個日期條件怎麼寫的問題,

最後解決時是使用spark.read.jdbc(),引數除了url,表名,配置檔案,就是乙個predicates的條件array[string],重點就是這個條件string怎麼寫,檢視jdbc方法的源**,可以看出,其實這些條件還是形成sql去查詢,那麼就寫成postgresql的查詢語句就可以了,然後在條件這,如何形成乙個date型的條件值使用date(日期),比如你要查詢1970-01-01這天的資料,條件應該寫成

columnname = date('1970-01-01')

如果是在程式中,要對單引號轉義\'

未完待續

再見 MongoDB,你好 PostgreSQL

olery 差不多成立於5年前。始於ruby 開發的單一產品 olery reputation 隨著時間的推移,我們開始致力於一系列不同的產品和應用程式。當今,我們的產品不僅有 olery reputation,還有olery feedback,hotel review data api,widge...

把pgboucer做成postgresql服務

把pgbouncer啟動命令加入到postgresql服務配置裡面。這樣方便操作 vi etc init.d postgresql 加入如下紅色命令。路徑換成你的pgbouncer安裝目錄 case 1 instart echo n starting postgresql test e pg oom...

Ubuntu9 10安裝postgreSQL步驟

postgresql整天都說自己是最高端的開源資料庫,那有時候我們也會做一些oracle到postgresql的遷移。於是就配一下。文 圖 王文文 鮮橙加冰 系統是ubuntu9.10 首先嘮叨一下,官方有打包好的enterpisedb,支援圖形介面一鍵安裝和 mode text文字安裝,很方便。1...