Hadoop Hive基礎整理（架構以及儲存）

什麼是hive：hive是基於hadoop的乙個資料倉儲工具，實質就是一款基於hdfs的mapreduce計算框架，對儲存在hdfs中的資料進行分析和管理。

hive的工作方式：把存放在hive中的資料都抽象成一張二維**，提供了乙個類似於sql語句的操作方式，這些sql語句最終被hive的底層翻譯成為mapreduce程式，最終在hadoop集群上執行，結果也會輸出在hdfs之中。（必須是結構化的資料）。在儲存的時候hive對資料不做校驗，在讀取的時候校驗。

hive的的優點：極大的簡化了分布式的計算程式的程式設計。使不會分布式程式設計的，其他工作人員都可以進行海量資料的統計分析。

hive的的缺點(3點)：

延遲高，事務，增刪改

不支援行級別的增刪改操作 hive的查詢延遲很嚴重 hive中不支援事務，主要用於做olap(聯機分析處理)。

hive的的適用場景：hive資料倉儲中的資料，主要是儲存，在進行etl（資料清洗、抽取、轉換、裝載）操作之後的具有結構化的資料。但是資料的儲存的格式沒有特殊要求，可以使普通檔案，也可以是溢寫壓縮檔案等等。

hive的的與關係型資料庫的對比：

hive的基礎理論

hive的架構中有四個部分組成：

使用者介面層：

thrift server：語言服務：thrift是facebook開發的乙個軟體框架，可以用來進行可擴充套件且跨語言的服務的開發，hive整合了該服務，能讓不同的程式語言呼叫hive的介面。

driver:底層元件：底層的四大元件完成hql查詢語句從詞法分析，語法分析，編譯，優化，以及生成邏輯執行計畫的生成。生成的邏輯執行計畫儲存在hdfs中，並隨後由mapreduce呼叫執行。

直譯器：直譯器的作用是將hivesql語句轉換成抽象語法數編譯器：編譯器是將語法樹編譯成為邏輯執行計畫優化器：優化器是對邏輯執行計畫進行優化執行器：執行時呼叫底層的執行框架執行邏輯執行計畫

執行流程就是：hiveql，通過命令或者客戶端提交，經過compiler編譯器，運用metastore中的元資料進行型別檢測和語法分析，生成乙個邏輯方案，然後通過的優化處理，產生乙個maptask程式。

元資料庫：就是儲存在hive中的資料的描述資訊，通常包括：表的名字、表的列和分割槽以及其屬性、表的屬性（內部表和外部表），表的資料所在目錄。

而hive有兩種元資料的儲存方案：

metastore預設儲存在自帶的derby資料庫中。缺點是：不適合多使用者操作，並且資料儲存目錄不固定。資料庫跟著hive的進入目錄走，極度不方便管理。 hive和mysql之間通過metastore服務互動（本地或者遠端）

3. hive的資料儲存

hive的儲存特點：

hive的儲存結構： hive的儲存結構：資料庫、表、檢視、分割槽和表資料等。資料庫、表、檢視、分割槽等等都對應hdfs上的乙個目錄，表資料對應hdfs對應目錄下的檔案。

例： hdfs：//hadoop01/user/hive/warehouse/myhive.db/student/student.txt hdfs：//hadoop01/user/hive/warehouse：表示hive的資料倉儲 hdfs：//hadoop01/user/hive/warehouse/myhive.db： hive的乙個資料庫 hdfs：//hadoop01/user/hive/warehouse/myhive.db/student hive中的乙個表 hdfs：//hadoop01/user/hive/warehouse/myhive.db/student/student.txt 資料檔案

注意：當我們在建立表的時候，首先會在hdfs上的相應的目錄下生成乙個檔案，同時在hive的元資料庫中會為這個新建的表生成一條記錄。

hive具體的儲存結構：

表：hive的表分為內部表、外部表、分割槽表、分桶表，表在hdfs中的表現形式也是目錄，但是不同的表之間的表現形式不同

檢視：物化，hive是不會進行物化，相當於給乙個sql語句建立了乙個快捷方式，儲存的是乙個檢視中的sql語句。唯讀，基於基表建立。

資料檔案：表中的真實資料

Hadoop Hive基礎整理（架構以及儲存）

學習篇 Hadoop Hive 基礎理論

app上架流程的整理

Vue cli腳手架基礎

Hadoop Hive基礎整理（架構以及儲存）

學習篇 Hadoop Hive 基礎理論

app上架流程的整理

Vue cli腳手架基礎

相關推薦