漫談資料治理之一 計算與儲存壓力

2021-10-05 09:35:01 字數 715 閱讀 5766

做資料的同學都能夠有體會,當我們做業務時間長了以後,資料表的數量就會變得龐大無比,很多過去的邏輯,如果負責的同學離職了,那麼能再看懂它的人就很少了。久而久之,就造成了表一大堆,沒人敢動的問題。等到計算或者儲存遇到瓶頸了,回過頭來再改,會讓人痛不欲生。

主要就是兩點:粗治理和細治理。

粗治理:普遍性治理專案,通過自動的掃瞄可以獲得的資訊,通常包括如下幾種:

(1)建立的臨時表:以tmp/test開頭的表;

(2)無訪問資訊表:例如最近乙個月沒有訪問資訊;

(3)無下游依賴表:下游沒有使用方的表;

(4)無更新時間表:表結構長期沒有更新資訊。

將以上四類錶抓出來,基本上能處理掉一大批沒人管的包。

細治理:專項性質的治理方案,主要針對有人負責的專案,通常包括如下幾種:

(1)執行時間過長的節點;

(2)儲存空間過大的表。

這一類的治理行為通常花費時間很長,但產生的效果會非常明顯。

資料治理是乙個十分消耗時間的過程,也是一次自我革新的歷程。除了制定一些可跟蹤、可管控、可負責、可施行的方案外,最好能夠制定一定的標準,即使這些標準很簡單,也能夠產生非常好的效果。對資料研發同學,就更要強化自我對於資料的治理意識,如果有可能,在招聘過程、晉公升答辯、kpi制定中都加入資料治理相關的要求,對於推廣更有幫助。

資料結構實戰(一) 計算24點

一副撲克牌的每張牌表示乙個數 j q k分別表示11 12 13,兩個司令不用 任取4張牌,即得到1 13的數,請新增運算子 規定為加 減 乘 除四種 使之成為表示式。每個數只能參與一次運算,4個數順序可以任意組合,4個運算子任意取3個且可以重複取。運算遵從一定有限級別,可加括號控制,最終使運算結果...

資料結構與演算法之一

電腦科學是通過使用計算機解決各種問題的研究領域。為了使用計算機解決給出的問題,您需要為其設計演算法。可設計多個演算法來解決特定的問題。提供了最大效率的演算法應用於解決此問題。演算法的效率可通過使用合適的資料結構來改善。資料結構幫助建立簡單 可重用和易於維護的程式。本模組允許學員選擇並實現合適的資料結...

模擬 2023年分割槽聯賽普級組之一 計算器的改良

題目描述 ncl是一家專門從事計算器改良與公升級的實驗室,最近該實驗室收到了某公司所委託的乙個任務 需要在該公司某型號的計算器上加上解一元一次方程的功能。實驗室將這個任務交給了乙個剛進入的新手zl先生。為了很好的完成這個任務,zl先生首先研究了一些一元一次方程的例項 4 3x 8 6a 5 1 2 ...