我們有乙個search的系統，用來從不同的伺服器上搜尋不同型別的資料（應用程式日誌，linux日誌，系統日誌，client或server日誌），
search後的資料要提交給flink cluster 去執行，
具體的應用模型是 search（data）+ flink（data streaming）提交給flink集群，
應用場景是使用者每search一次就要提交一次flink job ，
問題是 flink作業的提交是打成jar包 然後執行fink/run -c package.path class.jar 這樣不是很靈活
我們想search一次能夠進行一次的job提交，而且可以是datastream 的job
你有木有好的idea？
flink學習 flink架構
flink結構 graph 2個併發度 source為1個併發度 的sockettextstreamwordcount四層執行圖的演變過程 jobgraph streamgraph經過優化後生成了 jobgraph，提交給 jobmanager 的資料結構。executiongraph jobman...
flink 三 flink批處理
datasource型別運算元 val environment executionenvironment executionenvironment.getexecutionenvironment 支援多種collection的具體型別 val datasource1 dataset string e...
Flink原理與實現 詳解Flink中的狀態管理
上面flink原理與實現的文章中，有引用word count的例子，但是都沒有包含狀態管理。也就是說，如果乙個task在處理過程中掛掉了，那麼它在記憶體中的狀態都會丟失，所有的資料都需要重新計算。從容錯和訊息處理的語義上 at least once,exactly once flink引入了stat...