IBM發布面向大資料時代的軟體定義儲存技術

2021-09-23 04:13:48 字數 2270 閱讀 1534

日前,ibm發布一系列軟體定義儲存產品,這些產品不僅提高了經濟性,還使企業能夠在全球任何地方訪問和處理儲存在任何裝置上的任何型別的資料。其中一種稱為「彈性儲存」的技術提供空前的效能、無限的擴充套件並能夠通過自動將資料移動到最經濟的儲存裝置上使儲存成本降低高達90%。

這項開創性的新技術誕生於ibm研究院,它讓企業能夠利用(而不只是管理)由無數裝置、感測器、業務流程和社交網路所產生的各種形式的大量資料。新儲存軟體非常適用於非常高的資料密集型應用,此類應用需要高速訪問大量資訊,例如**資料處理、風險管理和金融分析、氣象建模和科學研究以及在實時零售中決定下乙個最佳行動。

「在今天的商業世界,資料已經成為競爭優勢的基礎,然而數字資訊的增長速度之快、數量之龐大,使傳統的資料儲存與管理已經無從應對。」ibm高階副總裁、系統與科技部總經理tom rosamilia指出,「我們為客戶提供的創新儲存技術,在速度、可擴充套件性和成本方面的前所未有的提公升,將使客戶更富有競爭優勢。」

軟體定義儲存是一系列自動管理本地及全球資料的軟體功能,它們提供突破性的資料訪問速度、更簡易的管理以及隨著資料量的增加,更加快速、經濟地擴充套件技術基礎架構的能力。此外,這些提公升還能與公司的任何儲存系統共同提供自動和虛擬儲存。

改變遊戲規則的技術

ibm watson系統採用了彈性儲存技術。在《危險邊緣》比賽中,ibm watson使用了2億頁結構化和非結構化資料,包括維基百科全文。通過使用彈性儲存,5tb的watson「知識」(相當於2億頁資料)僅在幾分鐘中內就被裝入該計算機的記憶體。

在《危險邊緣》比賽中,watson選擇該軟體的乙個重要原因是可擴充套件性,擴充套件架構的極限可達數千yb。1yb(堯位元組)等於10億pb(拍位元組),相當於規模為100萬個城市街區的資料中心所儲存的資料量,100萬個街區相當於德拉瓦州和羅得島州的面積之和。

ibm研究院已證明彈性儲存能夠在僅僅43分鐘內利用單個系統成功掃瞄100億個檔案,這為通過分析海量資料來挖掘業務洞察的客戶提供了無與倫比的效能。

彈性儲存將儲存虛擬化,允許多個系統和應用共享公用儲存池。這有助於實現透明的全球資料訪問而無需修改應用,也無需額外的或經常的儲存管理變更。由於彈性儲存不依靠集中管理來確定檔案位置和布局,所以在發生軟體或硬體故障時客戶能確保資料訪問的連續性和高可用性。

對美國國家大氣研究中心的計算和資訊服務實驗室 (cisl) 來說,不斷增長的資料量就是其dna的一部分。該機構的懷俄明與科羅拉多中心儲存和管理著超過50pb資訊,它依靠彈性儲存技術來讓研究人員能夠快速訪問大量多種多樣的資料。

「我們向分布在200多個不同地點的1,000多位使用者提供針對地球科學的計算、教育和研究資料服務」,cisl資料分析服務部經理pamela gillman表示,「ibm 全域性檔案系統軟體支援對資訊的可擴充套件、可靠和快速訪問。這顯著改善了各部門及整個機構的績效。」

彈性儲存的乙個關鍵要素是其自動和智慧型地將資料移動到最具戰略意義和最經濟的可用儲存系統上的能力。例如,通過策略驅動的特性和實時分析,彈性儲存能夠自動將不常使用的資料移動到不太昂貴的低成本磁帶驅動機,而將經常訪問的資料儲存在高速flash系統上,以便更快地訪問。這些策略驅動的特性能夠提供多達90%的成本節省。

此外,該軟體還提供原生加密及安全擦除特性,這可以確保資料的安全保留,以便遵守《健康保險流通與責任法案》(hipaa) 和《薩班斯-奧克斯利法案》(sarbanes-oxley)等法規。

通過支援openstack雲管理軟體,彈性儲存還幫助客戶能夠跨越私有雲、公共雲和混合雲進行資料儲存、管理及訪問,實現全球資料共享和協作。除了支援openstack cinderswift訪問,彈性儲存還支援其他開放api,如posixhadoop

對傳統儲存系統來說,交易型和分析型應用必須將資料移動到不同的儲存區來獲得最佳效果,但彈性儲存能夠通過自動平衡資源來同時支援不同應用工作負載,包括基於hadoop的分析。這顯著加快了分析速度,並消除了用於生成重複資料副本的高昂成本和耗時的過程。

彈性儲存軟體將在今年晚些時候作為ibm softlayer雲服務推出。

原文發布時間為:2023年05月16日

大資料時代 pdf 沒有秘密的大資料時代

一切都有痕跡 沒有秘密的大資料時代 本文首發於總第893期 中國新聞周刊 最近有條微博熱搜 有粉絲根據偶像的行程和曬出的 運用了谷歌地圖,通過對比和推理,得出了他與某網紅戀愛的結論。這讓人不禁感嘆,如果警察把專門調查偶像的粉絲招聘去,估計沒有破不了的案子。這是個技術含量高的活兒,偵查 控評 打榜,簡...

大資料時代 大資料的應用

大資料應用的關鍵,也是其必要條件,就在於 it 與 經營 的融合,當然,這裡的經營的內涵可以非常廣泛,小至乙個零售門店的經營,大至乙個城市的經營。以下是我整理的關於各行各業,不同的組織機構在大資料方面的應用的案例,在此申明,以下案例均 於網路,本文僅作引用,並在此基礎上作簡單的梳理和分類。通訊行業 ...

大資料時代的資料特點與大資料時代處理資料理念的改變

1 大資料時代的資料特點 4v 1.1 規模性 volume 即大資料具有相當的規模,其資料量非常巨大。資料的數量級別可劃分為b kb mb gb tb pb eb zb 等,而資料的數量級別為pb 級別的才能稱得上是大資料。1.2 多樣性 variety 即大資料的資料型別呈多樣性。資料型別繁多,...