flink taskmanager啟動日誌
total process memory：flink總資源數 2048m，引數：taskmanager.memory.process.size
jvm metaspace：jvm元空間，引數：taskmanager.memory.jvm-metaspace.size，計算：預設值256m
jvm overhead：jvm額外開銷，引數：taskmanager.memory.jvm-overhead.fraction，計算：2048 x 0.2=409.6m
total flink memory：flink可用資源數，計算：由1-2-3=1.35g
total jvm heap memory：jvm堆記憶體，計算：由4-6=701.44m
total off-heap memory：jvm堆外記憶體，計算：由7+8=680.96m
total jvm direct memory：計算：由9+10(預設為0)+11=266.240m
managed：託管記憶體，引數：taskmanager.memory.flink.size，計算：total flink memory x 0.3=1.35 x 0.3= 414.72m
network：網路快取，引數：taskmanager.memory.network.fraction，計算：total flink memory x 0.1=1.35 x 0.1= 138.240m
framework：flink框架記憶體，引數：taskmanager.memory.framework.heap.size，計算：預設128m
task：任務記憶體，計算：5-10=573.440m
flink 1 11 寫入hive效能低下問題
hive streming sink 投入生產，發現寫入效能底下，排查過後，發現是hive在每寫入一條資料，都會判斷檔案大小來決定檔案是否需要滾動，判斷檔案大小使用的hdfs的api，需要訪問namenode，這就是寫入效能底下的根源。截止到flink 1.11.2這個問題任然沒有解決。這個問題解決...
模型引數與模型超引數
模型引數是模型內部的配置變數，其值可以根據資料進行估計。模型在進行 時需要它們。它們的值定義了可使用的模型。他們是從資料估計或獲悉的。它們通常不由程式設計者手動設定。他們通常被儲存為學習模型的一部分。引數是機器學習演算法的關鍵。它們通常由過去的訓練資料中總結得出。在經典的機器學習文獻中，我們可以將模...
引數模型與非引數模型
引數模型 非引數模型 以及半引數模型 的概念應該源自於統計學中。統計專業中有一門課程叫做 非引數統計 研究的物件就是秩檢驗 核密度估計等。在統計學中，引數模型通常假設總體 隨機變數 服從某乙個分布，該分布由一些引數確定 比如正太分布由均值和方差確定 在此基礎上構建的模型稱為引數模型 非引數模型對於總...