關於TEZ引擎的部分缺陷

2021-10-24 08:20:21 字數 795 閱讀 8302

很久沒更新部落格了,今天發現以前的小點還是等幫助到一些朋友的,今天也更新一下,打個卡。

今天說一下tez引擎使用時容易犯錯的點吧。

首先要知道tez是什麼,下圖為官網上對tez的簡略圖。

官網首頁也介紹了tez的2個主要設計主題是:

1.通過以下方式增強終端使用者的能力:

富有表現力的資料流定義api

靈活的輸入-處理器-輸出執行時模型

不可知資料型別

簡化部署

2,執行效能

與map reduce相比效能提公升

最佳資源管理

在執行時計畫重新配置

動態物理資料流決策

tez的執行基礎還是dag任務,從原理上講,還是mr,不過通過細分dag過程,實現了對mr的優化。

回歸主題,部落格也不多寫了,手敲老累了。

tez與mr的主要對比

tez會拿到預估的資源,在結束計算後釋放,可以通過引數調整;

mr會通過解析任務步驟,釋放、申請、釋放這樣的執行。

從簡要上看,tez的執行時間肯定會優先於mr的,只要資源足夠、足夠、夠、、、。

缺陷一:資源不能及時釋放。

缺陷二:hive.tez.container.size這個引數如非必要,不要設定,預設-1就好;

缺陷三: insert union邏輯時,tez會進行優化,但是會在寫入到hdfs上時會創乙個目錄防止重複(當時發現時我是沒看懂的。。),需要規避。

最後:工具的使用千篇一律,使用工具的人萬里挑一。

關於非同步元件的部分

首先上官網說明。非同步元件 雖然官網有介紹,但是感覺不太適合新手,自己最開始看的時候也是一臉懵逼。它只是做了概念的介紹,詳細的使用方法和技巧並沒有說明。官方示例 vue.component async example function resolve,reject 1000 官方示例實際使用 假如你...

關於C 類的部分

本人剛入門,正在努力學習,概念性知識了解不多,如有解釋錯誤歡迎大佬指點,using system using system.collections.generic using system.linq using system.text using system.threading.tasks 上面屬...

關於Spring的部分整理

ioc 控制反轉 spring是乙個開源容器框架,它整合各型別的工具,通過核心的bean factory實現了底層的類的例項化和生命週期的管理。在整個框架中,各型別的功能被抽象成乙個個的 bean,這樣就可以實現各種功能的管理,包括動態載入和切面程式設計。1.能有效地阻止你的中間層物件 2.能消除許...