簡化資料管理的4種方法

2021-09-23 03:22:42 字數 1773 閱讀 1740

如果組織的it團隊似乎有更多的資料需要管理,那麼這就對了。幾乎每個企業都在試圖確定如何在不增加預算或員工的情況下來管理更多的資料增長。

調研機構451 research分析師henry baltazar在最近的乙份報告中強調了這一趨勢,指出「資料管理的相關性越來越高,企業必須處理的資料量正在持續增長。」好訊息是,有許多可以採取的措施和方法來緩解資料增長的挑戰。以下來看看可以用來產生很大影響的四個步驟。

(1)獲得知名度

這可能看起來很明顯,但無法解決所不了解的問題。這使得了解資料的真實情況至關重要。如果組織不確定哪些資料是熱資料,真正需要昂貴的全快閃儲存器效能,或者哪些資料是冷資料,可以轉移到成本較低的儲存資源。如果應用程式所有者要求獲得更多的效能或容量,那麼首先要確保正確的資料在正確的資源上,這樣才能更有效地滿足他們的需求。

為此,需要了解儲存資源中發生的情況。軟體現在可以提供這種洞察力,使用元資料來確定上次開啟檔案的時間,最後一次更改的時間等等。在組織可以修復任何其他資料管理問題之前,請務必統一檢視資料發生的情況。通過儀表板尋找解決方案,可以清楚地了解整個儲存生態系統中的聚合資料活動,而不僅僅是乙個系統的解決方案,因為it部門有時間來監控和收集多個不同系統的資訊。

(2)整合組織的資產

大多數企業的儲存量大幅增長,根據2023年的調查,超過一半的儲存系統管理著10個以上的不同儲存系統。隨著業務的發展,儲存業務進一步擴大,it部門最終將對基礎設施進行大量投資。這個基礎設施是有價值的,但挑戰是隨著時間的推移,移動資料的困難意味著它的大部分資源針對當前業務需求的錯誤資源。

通過使用軟體虛擬化資料,企業可以建立乙個全域性命名空間,使不同的儲存資源同時可用於應用程式。一旦通過虛擬化將控制路徑與資料路徑分離,則控制可以跨越儲存空間。這使得可以輕鬆地移動資料而不中斷應用程式。這樣,高效能儲存可以提供熱資料,通過將較冷的資料移動到較低成本的儲存層,可以更好地利用預算。另外,隨著資料在整個生命週期中的移動,令人痛苦的儲存遷移變得過時了。

(3)新增雲計算或物件儲存

目前很少有比新增內部部署資料中心物件或雲儲存更好地節省預算的選項。其挑戰是如何將雲計算作為儲存層進行整合,並將正確的資料從其他儲存中移出。資料虛擬化,元資料管理和機器學習都可以幫助組織實現乙個簡單而自動化的過程,目標可以確定每個應用程式必需的效能是多少,或者需要花費多少資源來儲存資料。隨著資料變冷,無論「冷」資料是企業的乙個月前還是一年前的閒置的資料,i都可以使其脫離高效能儲存,但是如果需要,可以繼續訪問這些資料。

新增雲計算時,確保資料移動到本地的檔案級別可以無縫地移回。如果組織被迫從雲端中複製整個卷,組織可能為此付出比人們想要的更多。這是因為將資料移動到雲端中通常都是成本低廉的,但是再次遷移回資料,其成本高昂。確保組織可以在檔案級別的精細度下遷回資料將有助於降低成本,同時享受推動企業快速採用雲計算的靈活性和敏捷性。

(4)自動化智慧型化管理

一旦組織深入了解資料,並將應用程式的感知資訊提供給不同的儲存資源,最後一步就是自動化管理。一些儲存系統可以在單個系統或**商生態系統中提供這些功能,但元資料引擎軟體可以根據it定義的目標自動化管理,甚至跨不同的**商。storage switzerland公司首席分析師george crump稱此為「端到端資料管理」。

隨著機器學習的興起,這種型別的智慧型也會出現在資料管理上,這並不奇怪。隨著時間的推移,智慧型軟體可以觀察其模式,例如內部業務資料在本季度末發生變化,如果it資料管理目標允許,則在準備報告之前將其移回到高效能儲存中。

今後的資料將不斷增長,鑑於大多數it部門沒有獲得更多的預算或更多的員工人數來更好地處理資料增長,可見性,整合度,雲採用和自動化,對於it人員的時間進行管理,並確定如何將這些功能新增到企業中,對於擴充套件業務以滿足所有利用資料作為幫助他們在行業領先的工具所面臨的挑戰是非常必要的。

Python 儲存資料的方法(4種方法)

使用with open 新建物件 寫入資料 這裡使用的是爬取豆瓣讀書中一本書的豆瓣短評作為例子 import requests from lxml import etree 傳送request請求 url 解析html r requests.get url,headers head s etree....

4 Docker資料管理

docker管理宿主機檔案系統的一部分 var lib docker volumes 儲存資料的最佳方式。使用場景 將容器中的資料持久化到宿主機,比如容器是mysql,容器重啟後就沒資料了,此時需要儲存到宿主機上。將宿主機上的任意位置的檔案或者目錄掛載到容器中。使用場景 容器使用一些宿主機上的檔案或...

4個簡單的資料管理技巧

原文 4 tips for easier data management它發生在我們所有人身上,你會收到新的a b測試結果和需要驗證的資料。或者你將最新漏斗分析轉化到乙個資料應用中,這樣就可以不斷地收穫你努力工作帶來的好處。當在檢查你工作的時候,你會發現數字沒有增加。資料驗證是任何與資料密切相關的人...