大資料分析需要分布式計算架構

2021-09-04 12:16:13 字數 312 閱讀 3672

我們說大資料分析,說雲計算,都少不了分布式計算技術。因為要實現大規模的計算和資料分析,一台伺服器肯定是不夠的,你也不能簡單地將不同功能模組分布到不同的機器上執行,這充其量也只能叫做scale-up,但是最終你一定需要scale-out,這才是真正的分布式計算,或者叫平行計算。

developerworks上今天刊載了一篇文章,展示了zookeeper這個分布式計算排程器的力量。這個yahoo共享的開源專案已經在很多大型**的後台分布式計算中得到了實際應用。

對於安管平台而言,你可以通過scale-up實現分布式事件採集,但是你需要用到scale-out才能實現分布式事件分析。

大資料分析需要分布式計算架構

我們說大資料分析,說雲計算,都少不了分布式計算技術。因為要實現大規模的計算和資料分析,一台伺服器肯定是不夠的,你也不能簡單地將不同功能模組分布到不同的機器上執行,這充其量也只能叫做scale up,但是最終你一定需要scale out,這才是真正的分布式計算,或者叫平行計算。developerwor...

顛覆大資料分析之Spark VS分布式共享記憶體系統

顛覆大資料分析之spark vs分布式共享記憶體系統 譯者 黃經業 購書 spark可以看作是乙個分布式共享集合系統,和stumm和zhou 1990 以及nitzber和lo 1991 所提到的傳統的分布式共享記憶體 dsm 系統則略有不 在spark中,開發人員呼叫map,filter或redu...

雲計算分布式架構綜述

傳統的關聯式資料庫由底層檔案系統和上層 系統構成,類似地,雲計算也包含了分布式檔案系統 如google的檔案系統gfs 和分布式 系統 如google的bigtable 兩個部分,其中分布式檔案系統實現可靠 高效的資料儲存和處理,分布式 系統在分布式檔案系統的基礎上實現表的各種處理邏輯,例如查詢 修...