Flink是如何與YARN進行互動的

2021-09-10 05:34:17 字數 699 閱讀 8979

yran客戶端需要訪問hadoop的相關配置檔案,從而可以連線yarn資源管理器和hdfs。它使用下面的規則來決定hadoop配置:

1、判斷yarn_conf_dir,hadoop_conf_dir或hadoop_conf_path等環境變數是否設定了(按照這些變數的順序判斷)。如果它們中有乙個被設定了,那麼就會讀取其中的配置。

2、如果上面的規則失敗了(如果正確安裝了 yarn 的話,這不應該會發生),那麼客戶端將會使用hadoop_home環境變數。如果這個環境變數設定了,客戶端將會嘗試訪問$hadoop_home/etc/hadoop(hadoop 2)或者$hadoop_home/conf (hadoop 1)路徑下檔案。

當啟動乙個新的flink yarn session,客戶端首先判斷所請求的資源(容器和記憶體)是否可用。在那之後,它會把包含了flink以及相關配置的jar包上傳到hdfs(步驟1)。

jobmanager和am是執行在同乙個容器中的,一旦它們成功地啟動了,am就會知道jobmanager 的位址(就是它自己的位址),它會為taskmanager 生成乙個新的flink配置檔案(這樣taskmanager才能連上 jobmanager)。這些新的配置檔案同樣會被上傳到hdfs上。此外,am將負責為flink提供web介面服務,flink 用來提供服務的埠是由使用者 + 應用程式 id 作為偏移配置決定的。這樣的措施使得使用者能夠並行地執行多個 flink yarn session。

Nginx與PHP是如何進行互動的

nginx與php的互動 fastcgi模組模組允許nginx同fastcgi協同工作,並且控制哪些引數將被安全傳遞 1 什麼是cgi傳統cgi介面方式的主要缺點是效能很差,因為每次http伺服器遇到動態程式時都需要重新啟動指令碼解析器來執行解析,然後將結果返回給http伺服器。這在處理高併發訪問時...

nginx Location是如何進行匹配的

location三種匹配 精準匹配 一般匹配 正則表達 精準匹配優先順序最高 location patt 例子 location php location 裡面如果不寫root 會繼承系統預設的配置 location匹配流程 1優先精準匹配 返回精準匹配結果並結束 2如果沒有匹配上看是否普通匹配命中...

Flink是如何支援批流一體的

實現批處理的技術許許多多,從各種關係型資料庫的sql處理,到大資料領域的mapreduce,hive,spark等等。這些都是處理有限資料流的經典方式。而flink專注的是無限流處理,那麼他是怎麼做到批處理的呢?無限流處理 輸入資料沒有盡頭 資料處理從當前或者過去的某乙個時間 點開始,持續不停地進行...