訊息處理語義
producer：
consumer：
案例
@test
public void testidempotence() else
}if (recordmetadata != null)
});}
producer.close();
}
實現原理
kafka以上的設計確保了即使出現重試操作，每條訊息也僅僅在日誌中儲存一次。不過由於每個新的producer例項都會有不同的producer id，同乙個分割槽下序列化是遞增的，所以只能保證單個producer例項的eos語義，無法保證多個producer例項一起提供eos語義，只能保證單個topic 分割槽的冪等性
Flink內部精確一次exactly once
flink 中的乙個大的特性就是exactly once的特性，我們在一般的流處理程式中，會有三種處理語義 我們在程式處理中，通常要求程式滿足exactly once,就是確保資料的準確性，不丟失，不重複，但是實現這樣的功能是比較複雜的，在flink中，是如何提供精確一次的特性呢？我覺得應該有兩方面...
kafka保證資料只正確處理一次
kafka0.11.0.0版本正式支援精確一次處理語義 exactly onece semantic eos eos主要體現在3個方面 1 冪等producer 保證單個分割槽的只會傳送一次，不會出現重複訊息 2 事務 transation 保證原子性的寫入多個分割槽，即寫入到多個分割槽的訊息要麼全...
一次非同步處理
首發於 一次非同步處理 今天回憶了一下在做專案的時候遇到的乙個小問題。就是當兩個介面請求的資料相互沒有影響時，而你卻需要這兩個介面的所有資料，你會怎麼做呢？當我處理這個的時候想到的第乙個方案是這樣的。由於兩個介面相互沒有影響，我使用了乙個中間量進行判斷。是這樣寫的。var flag 2 請求資料1 ...