hadoop,hive,spark的關係是什麼

2022-05-08 20:21:15 字數 519 閱讀 2912

今天在開發過程中發現老師給的乙個spark實驗中大量用到了hive,甚至不用spark也可以完成,於是我就對這兩個東西之間的關係去查了一些資料,在這裡彙總下

參考鏈結

hive是一種基於hdfs的資料倉儲,並且提供了基於sql模型的,針對儲存了大資料的資料倉儲,進行分布式互動查詢的查詢引擎。

sparksql並不能完全替代hive,它替代的是hive的查詢引擎,sparksql由於其底層基於spark自身的基於記憶體的特點,因此速度是hive查詢引擎的數倍以上,spark本身是不提供儲存的,所以不可能替代hive作為資料倉儲的這個功能。

sparksql相較於hive的另外乙個優點,是支援大量不同的資料來源,包括hive、json、parquet、jdbc等等。sparksql由於身處spark技術堆疊內,基於rdd來工作,因此可以與spark的其他元件無縫整合使用,配合起來實現許多複雜的功能。比如sparksql支援可以直接針對hdfs檔案執行sql語句。

display inline block是什麼意思

很多時候我們必須使一些塊元素併排顯示,一般想到的是必須使用浮動,但是塊元素浮動給邊距 margin 的時候在ie下會出現加倍的bug 所以很多時候不得不把這個塊元素套在乙個內聯元素裡面,然後給內聯元素浮動和邊距。今天看到了懌飛 秦歌和烏龍茶關於display inline block的文章,很不錯,...

no database selected是什麼意思

no database selected是什麼意思?是因為你沒有選擇新建立的表所在的資料庫,no database selected 意思就是沒有選擇資料庫。推薦 mysql 教程 解決辦法 在建立表之前使用use語句,格式 use database name,這樣就開啟了資料庫,就可以對資料庫進行...

UART和RS232 RS485的關係是什麼?

串列埠通訊是電子工程師和嵌入式開發工程師面對的最基本問題,rs232則是其中最簡單最常用的通訊方式。uart,是通用非同步收發傳輸器 universal asynchronous receiver transmitter 既然是 器 顯然,它就是個裝置而已,要完成乙個特定的功能的硬體,它本身並不是協...