大資料架構的未來

2021-08-04 07:29:07 字數 600 閱讀 5095

本文講述了大資料的相關問題,以及「大資料架構」得名的由來。

大資料的問題

或許所有讀者都明白這一點:資料正在飛速增長。若是能夠有效利用的話,我們能從這些資料中找到非常有價值的見解;傳統技術有很多都是在40年前設計的,比如rdbmss,不足以創造「大資料」炒作所宣稱的商業價值。在大資料技術的使用上,常見的案例是「客戶單一檢視」;將關於客戶所知道的一切內容放在一起,以便最大化服務提供與自身收入,比如確定具體需要採用什麼**方式,又是在什麼時候、通過什麼渠道來傳送。

儘管大資料的問題在於,讓我們將這種潛力變為現實,高等級的關鍵功能至少包括下面這些能力:

用資料湖作為答案

很多公司正在觀望乙個被某些人稱為資料湖的架構,這個資料平台在合併資訊孤井資料流以及在單獨的邏輯位置中執行資料持久化方面具有靈活性,能夠從企業自身以及第三方的資料中挖掘出見解。將hadoop(包括spark在內)用於資料湖已成大勢所趨,原因很多:使用總擁有成本較低的普通硬體就能進行擴充套件,允許用讀時模式(schema-on-read)收取大量資料,支援開源,包括用sql和普通語言構建分布式處理層。此外,像雅虎和谷歌這樣的webscale公司都是早期標桿,借用這種架構在解決**索引相關的問題時獲得了巨大的成功。

大資料未來發展

許多對大資料有需求的公司並不一定具備強大的研發團隊,在大資料處理過程中往往遭遇眾多挑戰。那麼,在面臨這些挑戰時,開發者最迫切需要的是什麼?為了解決公司中的實際問題,39.28 的人希望擁有更犀利和通用的計算框架 37.88 的人希望能擁有更好的資料探勘演算法 21.59 的人則對保障性更高的運維有了...

Hadoop之後 大資料的未來

在實時資料世界裡,為什麼我們還這麼執著於hadoop?根據451 research調查資料顯示,圍繞批處理架構的hadoop仍然是大資料 注 的代表技術,儘管其聲譽仍然超過實際部署情況。還沒有真正部署hadoop的企業可能想要再等一等。而隨著apache spark等其他技術 storm kafka...

Hadoop之後 大資料的未來

zdnet至頂網伺服器頻道 04月03日 在實時資料世界裡,為什麼我們還這麼執著於hadoop?根據451 research調查資料顯示,圍繞批處理架構的hadoop仍然是大資料 注 的代表技術,儘管其聲譽仍然超過實際部署情況。還沒有真正部署hadoop的企業可能想要再等一等。而隨著apache s...