spark sql cli客戶端搭建

2021-09-28 17:20:50 字數 548 閱讀 7035

網上關於spark-sql的資料很少,剛開始用spark-sql cli時我也好奇怎麼還能使用這樣的方式?下面就自己試了一下,

如果你看到這個文章,你會發現跟不用搭建,可能你只是不知到入口,在集群上啟動很簡單,進到spark/bin目錄下面執行spark-sql,和spark-shell完全相同,這個是在集群中的一台裝置上執行的

但是有些公司是用spark-sql client模式開發的,不是給你乙個節點的伺服器,那怎麼重現;

其實用spark-sql cli模式很簡單,

1.啟動spark集群和其他服務,

2.選擇集群中的乙個節點,kill全部jps檢視到的程序

3.在spark/bin目錄下面直接啟動spark-sql 就可以正常訪問,當前伺服器相當於一集群的客戶端

到現在應該已經理解了,spark-sql 單獨啟動雖然不需要啟動hive,hadoop等服務,但是其環境變數和配置還是需要的,spark-sql啟動後會將相關配置上傳到集群。spark集群需要的hive和hadoop等安裝包也要安裝好,並且配置和集群配置一樣,可以理解成複製集群乙個節點出來。就這麼簡單!

瘦客戶端 胖客戶端 智慧型客戶端

胖客戶端模式將應用程式處理分成了兩部分 由使用者的桌面計算機執行的處理和最適合乙個集中的伺服器執行的處理。乙個典型的胖客戶端包含乙個或多個在使用者的pc上執行的應用程式,使用者可以檢視並運算元據 處理一些或所有的業務規則 同時提供乙個豐富的使用者介面做出響應。伺服器負責管理對資料的訪問並負責執行一些...

胖客戶端 瘦客戶端和富客戶端

以c s結構開發的網路應用程式,需要為客戶端開發專用的客戶端軟體,相對而言其客戶端比較龐大,在客戶端可以實現很多功能,分擔伺服器的負擔,屬於胖客戶端型別。以b s結構開發的web應用,其客戶端只是乙個瀏覽器,所有業務邏輯由伺服器端進行處理,相對而言客戶端比較瘦小,故稱為瘦客戶端。目前比較流行的一種開...

非同步客戶端和同步客戶端

先寫下我的理解,方便後邊閱讀資料校驗。一 同步客戶端 比如乙個連線有兩個請求,請求1 和 請求2,請求1 先發起請求,請求2後發起請求,則請求2 要等待請求1 響應完成才能接收到響應。舉個棗子,httpclient 傳送get請求,執行緒會一致阻塞,直到有響應結果。二 非同步客戶端 比如乙個連線有兩...