資料儲存管理

2021-10-17 01:23:05 字數 841 閱讀 5465

hive平台自啟用以來,oracle平台加工過程不斷往hive遷移,hive側表、過程、流程排程也越來越多,雖然平台支援橫向擴容,但考慮到硬體投入和資源不足問題,現急需進行hive儲存**。

hive側除碼表、手工表 外,基本都是 日分割槽、月分割槽表。

想法:資料庫有大量冗餘的表與過程排程,消耗庫資源,應盡量下線;

分析:1.待下線表鎖定:

a.非活躍表前需後續分析;

b.活躍表是否重複加工;

c.明確可以下線的活躍表(應用下線,整個使用者都可下線的)

2.待下線過程鎖定:

a.涉及下線表的過程;

b.低活躍度、高爆錯、高耗時過程;

c.明確可以下線的活躍過程(一些不再需要的監控過程 、hive遷移過程)

表鎖定

注意後續過程、表的查詢依賴: 血緣表(dw.busproc_pre_condition_config hive 的血緣關係快,更新不及時,不准)、 linux grep 命令 (快,全,最準,資料處理複雜)

後續判斷

注意後續過程、表的查詢依賴:

血緣表(dw.busproc_pre_condition_config hive 的血緣關係快,更新不及時,不准)、 linux grep 命令 (快,全,最準,資料處理複雜)

service資料儲存 儲存系統元資料管理演變公升級

作者簡介 林意群,apache hadoop pmc member,主要專注於儲存領域的開發,曾主要參與過hdfs rbf以及hadoop ozone專案開發。目前為ebay hadoop team的研發工程師。我們知道在乙個儲存系統中,不光光只有它所儲存的資料檔案重要,它的儲存系統的元資料管理同樣...

儲存管理 段式儲存管理

分段儲存器的邏輯位址由兩部分組成 段號 單元號 注 段號加單元號是使用者自己設定,而頁號加單元號由系統自己切割的。段式儲存管理基於可變分割槽儲存管理實現,乙個程序要占用多個分割槽。硬體需要增加一組使用者可見的段位址暫存器 段 資料段 堆疊段 附加段 共位址轉換使用 段式儲存管理需要增加設定乙個段表,...

資料庫管理儲存過程

建立基礎資料庫 create procedure dbo createdatabase add the parameters for the stored procedure here dbname varchar 100 asbegin declare ex varchar max declare...