從了解數倉開始

2021-10-13 03:04:07 字數 516 閱讀 2926

hive處理的資料都儲存在hdfs上

hive分析處理資料的底層實現是mapreduce

執行程式執行在yarn上

使用者介面:client

元資料:metastore

元資料報括:表名、表所屬的資料庫(預設是 default)、表的擁有者、列/分割槽字段、 表的型別(是否是外部表)、表的資料所在目錄等;

hadoop

使用hdfs進行儲存,使用mapreduce進行計算

驅動器:driver

解析器(sql parser):將 sql 字串轉換成抽象語法樹 ast,這一步一般都用第 三方工具庫完成,比如 antlr;對 ast 進行語法分析,比如表是否存在、字段是否存在、sql 語義是否有誤。

編譯器(physicalplan):將ast編譯生成邏輯執行計畫。

優化器(queryoptimizer):對邏輯執行計畫進行優化。

執行器(execution):把邏輯執行計畫轉換成可以執行的物理計畫。對於hive來說,就是mr/spark。

從NSObject開始了解isa

幾乎所有的類都是繼承自nsobject開始實現的,所有這篇文章我們也將從nsobject類開始來了解物件的建立及isa,文章也將從runtime原始碼開始讓讀者了解isa究竟是什麼東西。nsobject object nsobject alloc init nsobject object id ns...

一文帶你了解數倉智慧型運維框架

摘要 本文將針對gaussdb dws 內排程器的底層運作原理進行簡單說明,並針對排程模式擴容重分布進行介紹。隨著gaussdb dws 的快速發展,gaussdb dws 目前整合了眾多運維操作,其中大部分運維操作均需占用使用者資源,如io mem cpu 網路 磁碟空間等,且無法依據使用者業務負...

了解區塊鏈,從挖礦開始

2014年那一陣,花了些錢,買了4塊r9 290x顯示卡組裝了乙個台式電腦,準備挖萊特幣,由於家人的反對,一直沒有開機,後來嫌佔地方 買不到大電源,買了兩個電源,因此得用大機箱,這樣一來,標準idc機櫃放不下 把顯示卡當二手賣掉,再買個機箱,留下一塊品相不好的顯示卡,當辦公電腦用了。這居住的小區,沒...