Flink Dataset Api(七)分布式快取

2021-09-28 22:48:43 字數 858 閱讀 1930

flink提供了乙個類似於hadoop的分布式快取,讓並行執行例項的函式可以在本地訪問。這個功能可以被使用來分享外部靜態的資料,例如:機器學習的邏輯回歸模型等!

快取的使用流程:

使用executionenvironment例項對本地的或者遠端的檔案(例如:hdfs上的檔案),為快取檔案指定乙個名字註冊該快取檔案!當程式執行時候,flink會自動將複製檔案或者目錄到所有worker節點的本地檔案系統中,函式可以根據名字去該節點的本地檔案系統中檢索該檔案!

【注意】廣播是將變數分發到各個worker節點的記憶體上,分布式快取是將檔案快取到各個worker節點上;

import datasetapi.sources.sourcetest.

import org.apache.flink.api.common.functions.richmapfunction

import org.apache.flink.configuration.configuration

import scala.collection.mutable

import scala.collection.mutable.

import scala.io.source

import scala.util.random

object sourcetest

}class myjoinmap() extends richmapfunction[clazz,arraybuffer[info]])

} //在map函式下進行關聯操作

override def map(value: clazz) = }}

array

}}

AppBoxFuture 七 分布式外來鍵約束

關聯式資料庫與nosql其中的乙個主要區別是具備完整的外來鍵約束,雖說現在一些大廠在設計資料儲存結構時禁止使用外來鍵約束,靠業務邏輯來保證資料完整性,但考慮到是人就會犯錯,為了保證關鍵業務資料的完整性,所以作者還是決定在儲存引擎層面實現外來鍵約束功能。由於儲存引擎是分布式的,所以引用者與被引用者可能...

分布式 2分布式事務

分布式 1概述cap和base 分布式 2分布式事務 分布式 3分布式一致性演算法 分布式 4集群 分布式 5服務限流演算法 分布式 6分布式id 分布式 7效能壓測 分布式 8日誌鏈路跟蹤 分布式 9分布式鎖 redis鎖的幾種實現 參考 分布式系統間各種問題 宕機 網路不穩定 本地事務無法滿足需...

分布式隨筆1 分布式概述

分布式,好寬泛的話題,來來咱扯兩句。你乙個人再強壯,也扛不了100袋大公尺,單機的資源也很有限,大 的大資料量 高併發以及各種業務需求 童鞋們的web應用,伺服器 rdb mq 服務 快取以及各類基礎設施,更別說還有安全 大資料方面的需求 於是,我們常見的面向服務的dubbo springcloud...