大資料時代的Lambdas

2021-09-23 11:53:25 字數 2097 閱讀 9073

今天的基礎架構正變得越來越智慧型——很快人工智慧技術就會告訴我們如何實現基礎架構的自我生命週期管理。我甚至認為這些人工智慧(ai)廠商會在一夜間宣稱實現了基於ai技術的基礎架構。

今天的我們尤其渴望智慧型化、更進一步的自動化和自我優化的基礎架構——尤其在儲存方面——但我不認為儲存基礎架構會在未來某個時刻實現人機對話功能。當然,儲存肯定會以更加實際的方式變得智慧型化,並且這些變化正在諸如資料中心儲存體系架構中逐步發生著。

我欣喜地看到儲存發展趨勢中所融入的嵌入式機器學習演算法,旨在進行關鍵優化、分類、搜尋和模式檢測任務。企業資料資產正在不斷增長,而與之對應的大資料收集和分析的潛在價值亦是如此。你很難用人工方式挖掘出其中蘊含的價值。隨著即將爆發的萬物互聯(iot),資料探勘中將大幅增加高速的資料流傳輸、實時的裝置資料生成,並混合業務運營過程中的交易型資料。

要讓我們利用好這些潛在的資訊資源,儲存廠商已經開始將智慧型化演算法融入到儲存層中。通過在資料儲存層中整合分析型的處理流程,我們今天可以輕鬆處理現有的海量資訊,並為企業的業務部門提供近乎實時的資訊反饋。

資料中心儲存體系架構正呈現出某些趨勢,使得智慧型化進展更為迅猛。

lambda體系架構

一般來說,作為處理日益增多的資料流、流水化資訊和面向事件的資料,無伺服器,由事件觸發的計算服務(例如amazon web services lambda)變得越來越普及和流行。其中的核心理念就如同是結構化資料庫中長期支援的儲存過程,或使用者自定義函式。

你現在可以直接在全新的、通用型的資料儲存中放置、執行由事件驅動的功能程式設計。例如,自定義計算功能可以在資料被持續訪問時將其放置到較低延遲的儲存層,並把老化的資料遷移到較慢的儲存層。

此外,應用程式與分析計算的融合伴隨著大資料同步發展,在此之中儲存得以實現橫向擴充套件(例如hadoop分布式檔案系統),而計算亦以節點方式分配到每一塊資料。隨著記憶體資料網格使用的增長和全新「通用型」大資料資料庫(整合結構化與非結構化資料)的到來,這些都將有助於促成計算與儲存的融合。

容器式的儲存作業系統

**商正將新的儲存作業系統體系架構開發為容器中的應用,至少在內部實現中使用這種編碼方式。這將是所謂軟體定義世界大趨勢中的一部分,同時也受到另一種理念的驅使,即計算資源最終會完全從底層的硬體中剝離,例如異構集群和動態的混合雲。

適合的容器式儲存服務可以輕鬆整合,供終端使用者使用,或與第三方應用結合實現儲存主機內的某些功能。用於儲存的容器體系架構能夠按需執行微服務,從而快速響應並動態擴充套件支援上述lambda架構所需。

大資料與高階分析

上個世紀中,機器學習通常發生在封閉的環境中,基於歷史(離線的)資料集合,使用縱向擴充套件環境中的演算法。而今天,大資料經過十年的發展,我們現在擁有易於使用的機器學習演算法庫,並為分布式(即並行)的橫向擴充套件應用做好準備,支援日益擴大的儲存卷和資料型別。

資料流解決方案

伴隨著物聯網的出現,我們看到資料中心儲存體系架構中所出現的全新的海量資料,其需要以資料流的方式,不間斷地進行處理。由於需要實時、並行而高階的內容資訊分析來進行處理,而非單純的傳統交易型業務操作,這大大推動了上述發展。

技術的突飛猛進

儘管計算和儲存不再像過去那樣依賴於硬體,但資料中心儲存架構的持續發展將有助於實現超級智慧型儲存。每個月我們都會聽到有關記憶體密度增加、快閃儲存器部署和轉型,以及新的基於非易失性儲存架構的新聞,更強大的處理器、更高的gpu利用率,甚至出現服務大資料應用的定製化可程式設計陣列(fpga)。當然,我們亦不應忘記近期出現的持續記憶體(persistent memory)。

綜合考慮這些發展,我們很容易看到儲存市場是如何得到快速增長,並實現高度智慧型化的。當然,隨著越來越多的功能的整合,有人開始認為它已不再僅僅是儲存,這暫且另當別論。現在,儲存再次成為資料中心內最有趣的領域。當然,新的智慧型化將增強傳統的資料管理任務,實現資訊的全生命週期管理,也可以在另一些方面增強企業儲存資料的能力,例如:

社交推薦

本地儲存檢索

高階資訊保安

資料轉換(如轉碼、翻譯)

資料獲取時分類排序

自動化商業智慧型分析

機器學習已經可以在資料中心的各個層級中實現:應用程式、增強管理,甚至嵌入在裝置中。it基礎架構變得日益智慧型,其智慧型化規模和發展速度我們才剛得以一窺。與此同時,我們大部分資料所在的儲存中蘊藏著機器學習所需要的一切。雖然儲存不會隨著時間超越人類的思維認知,但它確實會以更聰明的方式行事。現在,已經開始尋求智慧型化it基礎架構方案的it人士將會面對更好的未來。

大資料時代 pdf 沒有秘密的大資料時代

一切都有痕跡 沒有秘密的大資料時代 本文首發於總第893期 中國新聞周刊 最近有條微博熱搜 有粉絲根據偶像的行程和曬出的 運用了谷歌地圖,通過對比和推理,得出了他與某網紅戀愛的結論。這讓人不禁感嘆,如果警察把專門調查偶像的粉絲招聘去,估計沒有破不了的案子。這是個技術含量高的活兒,偵查 控評 打榜,簡...

大資料時代

大資料 巨量資料 big data 指的是需要新處理模式才能具有更強的決策力,洞察力和流程優化能力的海量 高增長率和多樣化的資訊資產。4v特點 volume 大量 velocity 高速 variety 多樣 value 價值 資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。...

大資料時代

不斷的從 發現這個很具廣告特色的語句,他們總是鼓吹大資料時代的來臨,好像如果你沒抓住他,你就要立馬落後別人好幾條馬路。各種公司企業對他們的產品也宣稱產品是大資料時代不可或缺的科技 乙個錢學森相當於10個王牌師。國內到處充斥著浮躁,不管是大學還是業界,大家都想賺點錢一夜暴富然後過上高富帥的生活。大資料...