Flink sink schema 字段設計小技巧

2021-10-24 13:50:31 字數 606 閱讀 3684

本系列每篇文章都比較短小,不定期更新,從一些實際的 case 出發拋磚引玉,提高小夥伴的姿♂勢水平。本文介紹 flink sink schema 字段設計小技巧,閱讀時長大概 3 分鐘,話不多說,直接進入正文!

如 title,直接上實踐案例和使用方式。

上游 flink 任務 a 發生故障導致產出髒資料至 kafka x,並且下游消費方消費了髒資料(下游消費方按照下面兩類進行劃分):

首先介紹下避免以及處理上述問題的整體思路:

下文主要介紹「第 3 點」,出現上述故障時修復的方案,針對以上場景,目前有如下 3 種可選方案修復資料:

note: 方案 3 需要對 kafka x 預留一定的 buffer,否則在產出修復資料時,由於寫入或讀出 kafka x 的 qps 過高,會影響正常產出資料的任務。

有視窗場景中,sink schema 中可新增以下字段:

本文主要介紹了在 sink schema 中新增 version(版本),時間戳擴充套件欄位的小技巧,以幫助使用者在生產環境中提公升實時資料故障修復效率以及可用性。

ip欄位 mysql MySQL庫表設計小技巧

前言 在我們專案開發中,資料庫及表的設計可以說是非常重要,我遇到過很多庫表設計比較雜亂的專案,像表名 欄位名命名混亂 字段型別設計混亂等等,此類資料庫後續極難維護與拓展。我一直相信只有優秀的庫表設計才能發揮出mysql最大的效能,前面有篇文章也分享了資料庫的使用規範,本篇文章主要講幾個庫表設計的小技...

mysql設計技巧 MySQL庫表設計小技巧

前言 在我們專案開發中,資料庫及表的設計可以說是非常重要,我遇到過很多庫表設計比較雜亂的專案,像表名 欄位名命名混亂 字段型別設計混亂等等,此類資料庫後續極難維護與拓展。我一直相信只有優秀的庫表設計才能發揮出mysql最大的效能,前面有篇文章也分享了資料庫的使用規範,本篇文章主要講幾個庫表設計的小技...

Apache HBase rowKey設計技巧

hbase是三維有序儲存的,通過rowkey 行鍵 column key column family和qualifier 和timestamp 時間戳 這個三個維度可以對hbase中的資料進行快速定位。hbase中rowkey可以唯一標識一行記錄,在hbase查詢的時候,有以下幾種方式 通過get方...