杉巖物件儲存MOS雙引擎,加速智慧型應用的助推器

2021-10-09 13:55:02 字數 2576 閱讀 2722

大資料分析手段的廣泛應用,助推資料快速增長,儲存形態相繼經歷了從傳統儲存到大資料儲存1.0再到大資料儲存2.0的變遷,以應對海量資料的挑戰。1.0時代解決了海量儲存的問題,通過分布式架構和軟體定義,讓資料能夠存得下。2.0時代解決了便捷管理的問題,通過多協議訪問、生命週期管理、異構儲存管理、混合雲管理,讓企業管好資料。

1、儲存引擎+智慧型引擎:更強大的mos物件儲存

企業耗費資本儲存資料,最終是為了利用資料價值創造經濟效益。儲存倘若仍是乙個「傻盒子」,只能儲存卻不能感知資料,是無法滿足企業真正需要的。企業對資料價值利用的強烈訴求,驅動大資料儲存步入3.0時代。這要求儲存足夠智慧型,可基於資料感知實現資料處理和智慧型排程,基於應用感知實現訪問加速,通過儲存自身的智慧型運維減少人力依賴。如此,才能幫助企業用好資料,以智慧型儲存為數字底座,構建面向未來的it基礎架構。而杉巖mos海量物件儲存的智慧型資料處理引擎,正是承載了這一使命。

圖1.海量資料增長催生儲存形態變遷

從杉巖的產品戰略來看,海量儲存核心引擎和智慧型資料處理引擎,支撐起了更為強大的mos物件儲存。前者依託分布式架構、多樣化管理策略以及全面的企業級特性,滿足企業儲存和管理海量資料的需求;後者依託開放式平台和強大的資料處理能力,並基於資料感知實現智慧型排程,滿足智慧型處理資料、挖掘資料價值的需求。雙引擎驅動,讓mos物件儲存集海量資料儲存、管理、價值挖掘於一體,無疑是企業應對大資料挑戰的極佳選擇。

圖2.mos雙引擎驅動智慧型應用

2、智慧型資料處理引擎:加速智慧型應用,釋放資料價值

數位化浪潮來襲,大資料、人工智慧的發展超出預期,在各行業的落地應用也逐漸鋪開,企業利用ai挖掘資料價值的需求是不言而喻的。在傳統模式下,對資料庫檔案等結構化資料進行價值挖掘相對容易,但是對於影象、影音等非結構化資料的價值挖掘是比較困難的。

mos的智慧型資料處理引擎,正是為此而生。通過對非結構化資料的多維度標籤化和結構化處理,讓有價值的資料更容易被發現,實現更高效的價值挖掘。有了智慧型資料處理引擎,資料處理能力下沉到儲存內部,通過與海量儲存核心引擎高效聯動,並基於資料感知實現智慧型排程,極大地簡化業務流程,提公升業務效率。

圖3.智慧型資料處理引擎工作流程

智慧型管理10億檔案,幫助廣發**打造內容管理平台

目前,智慧型資料處理引擎幫助許多行業客戶實現了資料的高效價值挖掘,提公升收益。

廣發**原來的檔案管理往往需要業務員人眼篩查,耗時長、易出錯,檔案查詢不夠精準。採用智慧型資料處理引擎後,當客戶電子檔案存入時,通過身份證識別外掛程式,將客戶的姓名、出生年月、身份證號等資訊提取出來並打上標籤,後續營業廳工作人員可直接通過檔案檢索介面,根據標籤資訊進行檔案的精細化檢索,也可以自定義檢索模板,方便高效。此外,為滿足合規要求,需將合同檔案(word文件)轉為pdf文件並新增水印後再存檔。該專案中對相關檔案設定生命週期策略,自動呼叫智慧型資料處理引擎的文件格式轉換(word轉pdf)和新增水印功能,處理後的檔案自動轉存至目標桶,整個過程基於生命週期策略自動觸發,無需人工介入,極大提公升了業務效率。

圖4.智慧型資料處理引擎對證件**和文件的加工處理

智慧型儲存助力質檢效率提公升,幫助utac節省20%儲存空間

utac是全球十大晶元封測廠商之一,在其晶元封測產線上,通過工業攝像機拍攝晶元的高畫質影象(bmp格式,單張30mb以上)進行智慧型質檢,每天資料增量80tb,每月檔案增量1.3億個,儲存3-4個月,預計需要pb級儲存空間。進一步交流得知,部分僅前三天需要高畫質格式,以便於人工複核,三天之後僅作歸檔和檢索,或者直接刪除。利用智慧型資料處理引擎將bmp轉為jpg(單張10mb以內),並基於標籤實現生命週期自動化管理(如到期自動刪除,轉碼後歸檔到冷池)。該方案幫助使用者節省20%儲存空間,且資料處理效率相比傳統方案提公升了30%,總體成本降低了60%以上。

圖5.智慧型資料處理引擎對影象檔案的自動化處理

智慧型資料處理引擎在機器學習場景的應用

3、開放生態,打造強大的智慧型處理平台

杉巖mos智慧型資料處理引擎就像應用市場一樣,是乙個開放式平台,可以整合豐富的第三方外掛程式,比如合合資訊的身份證識別、票據識別等外掛程式,微模式公司的人臉識別、車輛識別等外掛程式,使用者可以按需新增外掛程式,擴充套件資料處理能力。

目前,mos智慧型資料處理引擎支援轉碼、裁剪、新增水印、身份證識別、人臉識別、車牌識別、票據識別、文件識別、語音識別、內容提取、檔案格式轉換等20餘項處理功能,為使用者提供更強大的智慧型處理平台,滿足不同場景的資料處理需求。

智慧型資料處理引擎是杉巖資料面對大資料儲存發展趨勢的應對方案,在海量儲存和便捷管理的基礎上,讓儲存「理解」資料,基於資料感知實現資料預處理和智慧型排程,簡化業務流程;基於應用感知實現訪問加速,快速響應業務需求;依託智慧型運維減少人力依賴,打造更強大的智慧型數字底座,構建面向未來的智慧型it基礎架構。

杉巖海量物件儲存系統完美替代Documentum

自2006年至今十餘年來,金融行業內容管理系統通常採用documentum db nas的整體解決方案,如下圖1所示,documentum結合db的索引能力和nas的儲存能力,向上為影像平台等業務提供文件資料的儲存和檢索讀取服務。近年來隨著非結構化資料的爆發性增長,由於documentum系統架構問...

杉巖資料CTO 物件儲存將成為企業儲存新標準

知名分析機構idc的報告 到2020年非結構化儲存資料量將達到410eb,相比2015年增長4倍,而物件儲存佔檔案儲存總容量的70 以上。報告顯示,2015 2020年物件儲存市場營收的年均復合增長率將達到8.7 非結構化資料量的暴增及物件儲存時代的到來,讓企業使用者越來越意識到物件儲存技術的重要性...

杉巖 物件儲存有什麼用?優勢是什麼?

1 資料動靜分離,大幅提公升網頁效能 一般情況下,我們都是建議使用主機伺服器和物件儲存分工合作的方式來儲存 資料。主機伺服器主要負責儲存 的動態資料,物件儲存則用來儲存 的靜態檔案。從而實現 的動靜分離,當使用者訪問乙個 時,分別從主機伺服器和物件儲存的伺服器同步讀取資料,可以大幅的提公升網頁效能。...