Alluxio及其典型應用場景

2022-02-02 10:38:28 字數 564 閱讀 3692

一、簡介

alluxio號稱是世界上第乙個記憶體級虛擬分布式儲存系統,是計算與儲存間的橋梁。

二、典型應用場景

1. 計算層需要反覆訪問遠端(比如在雲端,或跨機房)的資料;

2. 計算層需要同時訪問多個獨立的持久化資料來源(比如同時訪問s3和hdfs中的資料);

3. 多個獨立的大資料應用(比如不同的spark job)需要高速有效的共享資料;

4. 當計算層有著較為嚴重的記憶體資源、以及jvm gc壓力,或者較高的任務失敗率時,alluxio作為輸入輸出資料的off heap儲存可以極大緩解這一壓力,並使計算消耗的時間和資源更可控可**。

由於資料分散分布在多個資料中心,有很大的可能是:資料的查詢需要到達遠端資料中心以提取資料——這應該是在使用者執行查詢時遇到延遲的最大原因。

三、其他

alluixo利用的是堆內記憶體,如果不符合典型場景,用起來就是雞肋!

ignite是堆外記憶體,真正加速任務

ZooKeeper典型應用場景

zookeeper 是乙個開源的高可用的分布式資料管理與系統協調框架,基於對 paxos 演算法的實現,保證了分布式環境中資料的強一致性。發布與訂閱模型 發布者發布資料到 zk 節點上,供訂閱者動態獲取資料。在資料量很少,但是資料更新快的場景下 訊息中介軟體中的發布者和訂閱者的負載均衡,linked...

SSIS典型應用場景分析

ssis 提供一系列支援業務應用程式開發的內建任務 容器 轉換和資料介面卡,方便我們建立解決方案來解決複雜的業務問題,除了可以管理 sql server 資料庫以及在 sql server 例項之間複製 sql server 物件,我們還可以對oracle mysql excel等不同的異構資料來源...

SSIS典型應用場景分析

ssis 提供一系列支援業務應用程式開發的內建任務 容器 轉換和資料介面卡,方便我們建立解決方案來解決複雜的業務問題,除了可以管理 sql server 資料庫以及在 sql server 例項之間複製 sql server 物件,我們還可以對oracle mysql excel等不同的異構資料來源...