Hive從入門到實戰 40講 第一天

2021-06-28 13:54:52 字數 929 閱讀 5115

第一天:hive是什麼,hive的體系結構,hive和hadoop的關係

mapreduce是解決hive解決不了的問題

簡單的hive能解決的問題,不需要mapreduce

做報表一般使用hive來做的。

hive是什麼?

hive是簡歷在hadoop上的資料倉儲基礎架構,他提供了一些列的工具

,可以用來進行資料提取轉換載入(etl),這是一種可以儲存

,查詢和分析儲存在hadoop中的大規模資料的機制,

hive定義了簡單的類sql查詢語言,稱為hql,它允許熟悉sql的使用者

hive的體系結構可以分為一下幾個部分:

對driver(complier,optimizer,executor)

metastore

jdbc odbc

hive可以把元資料存放在mysql中

使用者介面主要有三個:cli,client和wui,其中最常用的是

cli,cli啟動的時候,會同事啟動乙個hive副本,client是hive的客戶端

使用者連線值hiveserver,在啟動client模式的時候,

需要之處hiveserver所在的節點,並且在該節點啟動hiveserver,wui是通過瀏覽器

訪問hive

hive將元資料儲存在資料庫中,如果mysql derby,hive中的元資料

包括表的名字,表的列和分割槽及其屬性,

表的屬性(是否為外部表等),表的資料所在目錄等等。

直譯器,編譯器,優化器,完成haql查詢語句從詞法分析,語法分析

,編譯,優化以及查詢計畫的生成,生成的查詢計畫儲存

在hdfs中,並在隨後有mapreduce呼叫執行

hive的資料儲存在hdfs中,大部分的查詢有mapreduce完成

(包含*的查詢比如。。。。不會生成mapreduce任務)。

Nginx從入門到實戰

什麼是nginx?nginx engine x 是一款輕量級的web 伺服器 反向 伺服器及電子郵件 imap pop3 伺服器。什麼是反向 反向 reverse proxy 方式是指以 伺服器來接受internet上的連線請求,然後將請求 給內部網路上的伺服器,並將從伺服器上得到的結果返回給int...

大資料從入門到實戰 Hive表DDL操作(二)

二 實踐詳解 叮嘟!這裡是小啊嗚的學習課程資料整理。好記性不如爛筆頭,今天也是努力進步的一天。一起加油高階吧!hive資料定義語言 date definition language 包括 create drop alter資料庫 create drop truncate表 alter 表 分割槽 列...

PHP實戰之CURL從入門到實戰

精選30 雲產品,助力企業輕鬆上雲!curl就是利用url語法在命令列方式下工作的開源檔案傳輸工具,我們能夠通過curl從網際網路上獲得各種各樣的網路資源。下面我們一起學習一下。開啟php.ini 查詢curl模組有沒有開啟。extension php curl.dll ch curl init 初...