四代大資料計算引擎

2021-10-03 02:34:47 字數 806 閱讀 2642

參考:

這幾年大資料的飛速發展,出現了很多熱門的開源社群,其中著名的有 hadoop、storm,以及後來的 spark,他們都有著各自專注的應用場景。spark 掀開了記憶體計算的先河,也以記憶體為賭注,贏得了記憶體計算的飛速發展。spark 的火熱或多或少的掩蓋了其他分布式計算的系統身影。就像 flink,也就在這個時候默默的發展著。

在國外一些社群,有很多人將大資料的計算引擎分成了 4 代,當然,也有很多人不會認同。我們先姑且這麼認為和討論。

首先第一代的計算引擎,無疑就是 hadoop 承載的 mapreduce。這裡大家應該都不會對 mapreduce 陌生,它將計算分為兩個階段,分別為 map 和 reduce。對於上層應用來說,就不得不想方設法去拆分演算法,甚至於不得不在上層應用實現多個 job 的串聯,以完成乙個完整的演算法,例如迭代計算。

由於這樣的弊端,催生了支援 dag 框架的產生。因此,支援 dag 的框架被劃分為第二代計算引擎。如 tez 以及更上層的 oozie。這裡我們不去細究各種 dag 實現之間的區別,不過對於當時的 tez 和 oozie 來說,大多還是批處理的任務。

接下來就是以 spark 為代表的第三代的計算引擎。第三代計算引擎的特點主要是 job 內部的 dag 支援(不跨越 job),以及強調的實時計算。在這裡,很多人也會認為第三代計算引擎也能夠很好的執行批處理的 job。

隨著第三代計算引擎的出現,促進了上層應用快速發展,例如各種迭代計算的效能以及對流計算和 sql 等的支援。flink 的誕生就被歸在了***。這應該主要表現在 flink 對流計算的支援,以及更一步的實時性上面。當然 flink 也可以支援 batch 的任務,以及 dag 的運算。

迅馳四代技術

intel 第五代 迅馳平台 與intel其他的迅馳平台類似,montevina平台包括三大元件 penryn 雙核處理器 cantiga 晶元組 shiloh 無線模組 作為santa rosa的繼任者,montevina將於08年上市,避免在明年與santa rosa平台發生衝突。不過,mont...

四代 DNA 測序技術簡述

四代 dna 測序技術簡述 姚亭秀 北京市第八十中學 北京 100102 摘要 dna 測序技術是現代分子生物學研究中最常用的技術,極大推動了生物學的發展。從 20世紀 70 年代至今,dna 測序技術已歷經4代。簡介被稱為 dna 測序始祖的第 1 代 測序技術 邊合成邊測序的第 2 代測序技術 ...

蘋果可能於今夏推四代iPhone

據國外 報道,加拿大一家移動運營商的高層進一步證實,蘋果六七月份會發布 iphone手機。過去,蘋果一般在六月或者七月發布新版iphone,今年業界人士根據舊金山芳草地藝術中心的預定安排,推測蘋果將在6月22日發布四代iphone。外界還猜測蘋果此次將會推出支援cdma網路的手機。日前,加拿大移動運...