hive UDAF名詞解釋

2021-06-22 18:30:37 字數 818 閱讀 2663

udaf主要分為2個部分:第乙個部分是對傳入引數進行校驗,資料型別的校驗。然後根據傳入的資料型別不同呼叫具體的處理邏輯。

abstractgenericudafresolver:當需要使用udaf時,需要繼承abstractgenericudafresolver抽象類

objectinspector:objectinspector介面使得hive可以不拘泥於一種特定資料格式,使得資料流 1)在輸入端和輸出端切換不同的輸入/輸出格式 2)在不同的operator上使用不同的資料格式。

primitiveobjectinspector:udaf使用乙個objectinspector來抽象化每一行資料的讀取。上面使用的primitive型別的資料,所以使primitiveobjectinspector來讀取傳入的引數

evaluator:在evaluator方法裡面,對引數進行校驗

mode:

partial1:這個是mapreduce的map階段:從原始資料到部分資料聚合,將會呼叫iterate()和terminatepartial()

partial2:這個是mapreduce的map端的combiner階段,負責在map端合併map的資料:從部分資料聚合到部分資料聚合:將會呼叫merge() 和 terminatepartial() 

final: mapreduce的reduce階段:從部分資料的聚合到完全聚合,將會呼叫merge()和terminate() 

complete: 如果出現了這個階段,表示mapreduce只有map,沒有reduce,所以map端就直接出結果了:從原始資料直接到完全聚合

將會呼叫 iterate()和terminate()

BE 名詞解釋

1 名詞解釋 介質 用於備份資料的裝置,如磁帶庫,磁碟資料夾,相當於乙個檔案。介質集 相當與乙個資料夾,管理該資料夾下的所有介質。介質伺服器 安裝be的機器。清點 inventory 對匯入的介質必須清點,才能使用。檢查一遍所有的磁帶,確保磁帶可以使用。編錄 catalog 對匯入的介質必須編錄,才...

模組耦合名詞解釋 名詞解釋 簡答

c s 又稱client server 或客戶伺服器模式 對伺服器要求不用太高,穩定即可,建議使用 windows server 伺服器。客戶端需要安裝專用的客戶端軟體,客戶端應為 windows 作業系統。c s的優點是能充分發揮客戶端 pc的處理能力,很多任務作可以在客戶端處理後再提交 給伺服器...

PDA名詞解釋

pda概述 目前,對pda還有一種狹義的理解。狹義的pda指可以稱作電子記事本,其功能較為單一,主要是管理個人資訊,如通訊錄 記事和備忘 日程安排 便箋 計算器 錄音和辭典等功能。而且這些功 能都是固化的,不能根據使用者的要求增加新的功能。廣義的pda主要指掌上電腦,當然也包括其他具有類似功能的小型...