Flink集群之Flink集群配置優化項

2021-10-04 11:09:31 字數 443 閱讀 2338

jobmanager rpc通訊位址,一般需要配置指定的jobmanager的ip位址,預設的localhost不適合多節點集群模式

jobmanager的jvm堆記憶體,預設為1024m,可以根據集群規模適當增加

taskmanager的jvm堆記憶體,預設為1024m,可以根據資料計算規模以及狀態大小進行調整

配置每個taskmanager能夠提供的slot數量,根據taskmanager所在機器能夠提供給flink的cpu數量決定

flink任務預設並行度,與整個集群的cpu數量有關,增加parallelism可以提高任務並行的計算的例項數,提公升資料處理效率,但也會占用更過slot

集群臨時資料夾位址,flink會將中間計算資料放置在相應的路徑中

預設配置項會在集群啟動的時候載入到flink集群中,當使用者提交任務時,可以通過-d來動態設定系統引數,這樣配置檔案中的引數會被覆蓋

flink集群搭建

生成keystore和truststore檔案 依次執行以下的命令,執行中需要設定乙個不少於6位的密碼,這裡設定的密碼為hadoop。執行完成後,會在當前目錄生成keystore和truststore檔案。root itp flink master openssl req new x509 keyo...

ubuntu啟用本地Flink集群

1 安裝ubuntu,安裝方式 安裝方式 3 找到你安裝的linux系統的檔案位址,在rootfs下有很多檔案,把flink 1.10.1 bin scala 2.12.tgz拷貝到opt檔案下 我的位址如下,大家的應該前面不一樣,後面都是一樣的 4 在ubuntu中,進入到存放flink 1.10...

奇怪的問題 Flink集群搭建問題

在搭建flink集群的時候,出現taskmanager註冊不上jobmanager 檢視taskmanager 一直報trying to register at jobmanager akka.tcp.attempt 1,timeout 500 milliseconds 檢視webui頁面,task...