num_of_tm = ceil(parallelism / slot) 即並行度除以slot個數，結果向上取整。ack 資料來源是否需要kafka得到確認。all表示需要收到所有isr節點的確認資訊，1表示只需要收到kafka leader的確認資訊，0表示不需要任何確認資訊。該配置項需要對資料精準性和延遲吞吐量做出權衡。
flink單個task manager的slot數量必須介於這兩個值之間
flink的job manager 和task manager記憶體不得超過container最大分配記憶體大小。
yarn.nodemanager.resource.cpu-vcores yarn的虛擬cpu核心數，建議設定為物理cpu核心數的2-3倍，如果設定過少，會導致cpu資源無法被充分利用，跑任務的時候cpu佔用率不高。
redis 引數調優配置
master timeout no data nor ping received.對於redis出現該問題，可以從調整repl timeout時間和調大 repl backlog大小為準，最好調整repl backlog repl backlog 例如資料為 127.0.0.1 16379 conf...
Spark配置引數調優
cpu各核負載量很不均勻，記憶體也沒有用滿，系統的資源沒有得到充分利用，該如何利用？1 spark的rdd的partition個數建立task的個數是對應的 2 partition的個數在hadoop的rdd中由block的個數決定的。記憶體 系統總記憶體數 work記憶體大小 work數 spar...
常見的超引數調優方法
學習器模型中一般有兩類引數，一類是可以從資料中學習估計得到，還有一類引數時無法從資料中估計，只能靠人的經驗進行設計指定，後者成為超引數。比如，支援向量機裡面的c,kernal,game 樸素貝葉斯裡面的alpha等。網格搜尋通過查詢搜尋範圍內的所有的點來確定最優值，如果採用較大的搜尋範圍和較小的步長...