論 大資料 時代下的海量資料儲存技術

2021-09-23 07:31:19 字數 3009 閱讀 1563

高畫質、長週期呈現海量儲存需求

高畫質已經在安防行業全面鋪開應用。除了帶給使用者能夠看得更清的良好視覺感受外,對儲存容量的需求亦成幾何式增長。例如: 前端ipc有130w到500w畫素,碼流也從有2mbps到8mbps,而乙個130w畫素,8mbps碼流的前端,錄影乙個月就需要2531.3gb,資料量不可小覷。

對當前整個安防市場來講,特別是大公安、大交通、樓宇、司法監所、金融、文教衛、能源專案等行業迅猛發展,甲方客戶的需求及大整合商的儲存解決方案越來越傾向集中化。需要儲存的資料也成線性增長,應對如此巨大的資料量,資料儲存及客戶資料快速有效查詢就變得至關重要。某公司一直緊跟行業發展方向,致力於推出更符合使用者需求與行業需求的監控/資料中心解決方案。

現有的安防儲存模式

1. dvr/nvr前端本地儲存

此種模式,一般應用於實施較早專案,使用的是dvr/nvr前端本地儲存,隨著大資料時代的來臨,採用了比較直接的方法,在dvr/nvr直接連線擴充套件櫃來實現容量的擴容。原來系統及原資料保持不變。此種模式由於採用dvr/nvr儲存容量相對較小,況且dvr/nvr效能較低,資訊孤島現象嚴重,無法滿足大資料需求。

2. 集中儲存模式

客戶資料採用磁碟陣列模式。可以採用在儲存節點後直接增加擴充套件櫃的模式,隨著集群的推出也可以通過增加儲存節點來實現容量增加。相對於dvr/nvr模式,容量大大提公升,並實現了資料的集中儲存,同時支援儲存節點間的故障的自動業務接管,最大程度上實現了業務資料的完整性。但是隨著大資料的來臨,後續專案擴容時,需要人為配置裝置的負載均衡。一台儲存故障後導致裝置儲存的資料部分中斷或者接管裝置壓力較大,另外考慮到網路延時,可能導致儲存資料不完整,資料獲取需要人為指定裝置資料獲取,管理成本較高等。為了裝置的負載均衡,空間的虛擬化裝置易維護的問題,雲儲存技術應運而生。

3. 雲儲存模式

通用雲儲存

通過軟體運用集群技術、虛擬化技術、分布式儲存技術將網路中大量各種不同型別的儲存裝置集合起來協同工作,共同對外提供資料儲存和業務訪問功能。

通用雲儲存較傳統集中基本裝置形態不變,故主要部件為:儲存伺服器(元資料伺服器)+磁碟陣列。

通用雲儲存中許多都是通過優化改造傳統ipsan/nas儲存而演化而來,其通過實現伺服器和儲存裝置集群化管理,儲存資源虛擬化,達到分布式資料儲存,因其內部資料處理以結構化資料為主。

1) 高效靈活的空間管理

2) 海量資料的快速檢索

3) 持續可靠的資料服務

4) 高可擴充套件的應用支撐

5) 開放透明的相容系統

6) 高可擴充套件的應用支撐

7) 開放透明的相容系統

目前需要儲存容量不斷增加,客戶要求資料儲存週期越來越長,帶庫和雲儲存融合方案慢慢呈現在客戶面前。

方案中所有儲存裝置均可設計為冗餘連線,在滿足使用者儲存需求的同時,兼顧整個系統的儲存效能和安全性。

系統功能簡介;

業務層面

資料高可靠性保障系統

帶庫方案是基於目前穩定的儲存系統架構,採用成熟穩定的硬體,可以保障系統長時間穩定執行。系統的管理軟體具有報警措施,控制軟體發現軟硬體異常時,通過多種方式進行報警。管理軟體包括快照和轉殖的功能,可以使所管理的資料回滾到原來某一時刻的狀態,防止使用者錯誤操作帶來的資料丟失。同時通過儲存管理軟體實現備份功能。

高安全資料儲存

系統通過使用者名稱、密碼、ip位址認證等認證方式,保證資料空間訪問許可權的控制,保障資料不會被其他人惡意竊取或破壞。

方案中,根據客戶需求可以設定不同的登入許可權和讀寫操作許可權,實現資料的安全性

儲存裝置內嵌worm歸檔模組,它是針對檔案類儲存提供的基於硬碟的寫一次,讀多次的儲存產品。可以有效防止關鍵檔案資料被篡改。

高擴充套件的帶庫儲存

整個系統的儲存容量可以在不影響業務執行的情況下隨需採購磁帶擴充套件。儲存的效能也可以動態線性增加,通過增加驅動器的方式,拓寬整個系統的處理效能。

系統易擴充套件為遠端容災儲存系統。系統是基於儲存和備份軟體結合,易於實現遠端的資料傳輸;為以後擴充套件到其他地區,結合為一體的容災儲存系統建立好的基礎條件。

科學有效的備份實現

日常需要備份的主要業務資料,可以用檔案同步和檔案備份功能實現。設定合理的備份策略, 盡可能利用非業務時間進行檔案同步和備份,避免增加對應用區域網的負載壓力。

採用專業的檔案集中備份功和資料庫備份功能實現。不干擾使用者的區域網正常業務,達到lan free效果。

較低的儲存環境要求

磁帶是可移動介質,可以異地離線儲存,運輸方便,可以根據使用者需求在不同存放地點之間搬運,這對資料的安全來說是非常有利的,適合資料交換。離線磁帶不會受機械振動、電力變化等因素帶來對壽命的影響,對存放條件要求簡單。

通常情況下,價效比和高可用仍是企業或者個人選擇儲存系統最優先考慮的兩大因素,此外儲存的易於部署和管理以及磁碟和快閃儲存器的緊密整合也是企業使用者評估儲存的重要考慮因素.隨著大資料時代的來臨,企業會根據自身需求和預算來挑選適合自己的企業的解決方案。

整體來說,目前雲儲存發展最為迅猛, 以其遙遙領先的優勢獨占鰲頭,必然會是未來大資料應用的重點組成部分,同時資料分層、融合以及智慧型也將逐漸普及應用,可以說,安防行業為了迎接大資料來臨,已經做好了充足的準備。

大資料時代對海量資料離線儲存的迫切需求

隨著當代資訊科技的不斷普及應用和電子資料資源在社會諸多領域的不斷積累,各類檔案館 文化館 圖書館 美術館 展覽館及行業資料中心等單位機構均存在數量龐大的資訊資料資源及大量資訊儲存介質,並且逐年呈快速增長趨勢,我們進入了海量大資料時代。資料逐步成為乙個自有儲存的 不屬於任何特定系統的實體,就像資本或智...

大資料時代下的遷移學習 大資料時代下的遷移學習

大資料時代下的遷移學習 遷移學習不是機器學習的乙個模型或技術,它是機器學習中的一種 設計方 還有一些其他的設方 比如說主動學習。在後續的文章中,作者將解釋如何結合主動學習與遷移學習來最優地利用現有 或者新的 資料。從廣義上說,在利用外部資訊來提高效能或泛化能力時,可以使用遷移學習來實現一些機器學習的...

大資料時代下的遷移學習 大資料時代下的遷移學習

遷移學習不是機器學習的乙個模型或技術,它是機器學習中的一種 設計方 還有一些其他的設方 比如說主動學習。在後續的文章中,作者將解釋如何結合主動學習與遷移學習來最優地利用現有 或者新的 資料。從廣義上說,在利用外部資訊來提高效能或泛化能力時,可以使用遷移學習來實現一些機器學習的應用。遷移學習的定義 遷...