Flink第一課 初入Flink 結構篇

2021-10-06 00:11:19 字數 1146 閱讀 1432

2. 為什麼要用flink

3. 流處理的發展和演變

4. flink的主要特點

5. flink vs spark streaming

apache flink 是乙個框架和分布式處理引擎,用於對無界和有界資料流進行狀態計算

flink 框架的重要方面:

任何型別的資料都是作為事件流產生的,信用卡交易、感測器測量、機器日誌、**或移動應用程式上的使用者互動,所有這些資料都以流的形式生成。

資料能夠被處理為無邊界和有邊界資料

無邊界流(流處理),定義了起始但沒有定義結束,它們不會在資料生成時終止並提供資料。無邊界的流必須被連續地處理,即,事件被攝取後必須立即處理。等待所有輸入資料到達是不可能的,因為輸入是無界的,在任何時間點都不會完成。處理無界資料通常需要以特定的順序接收事件,例如事件發生的順序,以便能夠推斷結果的完整性。

有界流(批處理),定義了起始和結束。可以通過在執行任何計算之前提取所有資料來處理有界流。由於有界資料集始終可以排序,因此不需要有序攝取即可處理有界流。有界流的處理也稱為批處理。

apache flink擅長處理無界和有界資料集。對時間和狀態的精確控制使flink的執行時能夠在無邊界的流上執行任何型別的應用程式。有界流由專門為固定大小的資料集設計的演算法和資料結構在內部處理,產生了出色的效能

傳統資料處理架構

在關係型資料庫裡直接進行訪問,乙個乙個處理

有狀態的流式處理

在本地新增乙個local state相當於記憶體,然後同時新增乙個類似于容災機制的periodic checkpoint

lambda架構

兩套系統,同時保證低延遲和結果準確

越頂層越抽象,表達含義越簡明,使用越方便

越底層越具體,表達能力越豐富,使用越靈活

流(stream)和微批(micro-batching)

資料模型

開學第一課

因為是開學第一課,而且這是我的第一篇個人部落格,更何況還是技術部落格,所以我會認真對待,不過畢竟第一次,所以難免各方面會有不足,所以有任何的意見或建議都可以提出來以供本人提高。下面廢話少說,進入正題。使用quartus,新建乙個專案,建立乙個bdf檔案,雙擊bdf空白處,新增元件符號。找到 7413...

鋼琴第一課

哇 昨天去上了第一節鋼琴課,好開心好開心 核心要義 感覺自己像個小公主 儀態儀容 屁股只能坐一半 身體保持正直 手非常溫柔非常輕鬆地搭到琴鍵上 胳膊肘整個過程保持不動 兩手手腕微微向內旋轉,盡量讓手背與琴鍵平行,中空狀。落下時,呈自由落體狀,每個手指放到該放的琴鍵上。一首曲目彈奏完畢,手,輕輕地溫柔...

第一課 變數

一 變數 一 變數命名 1 使用具有固定意義的英文單詞或縮寫,如srv server,skt socket 2 駝峰命名法 1 大駝峰 myfirstlove,intoone,用大駝峰給類命名 2 小駝峰 myfirstlove,intoone,其他變數和函式的命名 3 posix my first...