資料轉換必須熟悉的 Operator 運算元

2021-10-09 16:27:52 字數 806 閱讀 7957

在 flink 應用程式中,無論你的應用程式是批程式,還是流程式,都是上圖這種模型,有資料來源(source),有資料下游(sink),我們寫的應用程式多是對資料來源過來的資料做一系列操作,總結如下。

source: 資料來源,flink 在流處理和批處理上的 source 大概有 4 類:基於本地集合的 source、基於檔案的 source、基於網路套接字的 source、自定義的 source。自定義的 source 常見的有 apache kafka、amazon kinesis streams、rabbitmq、twitter streaming api、apache nifi 等,當然你也可以定義自己的 source。

transformation: 資料轉換的各種操作,有 map / flatmap / filter / keyby / reduce / fold / aggregations / window / windowall / union / window join / split / select / project 等,操作很多,可以將資料轉換計算成你想要的資料。

sink: 接收器,sink 是指 flink 將轉換計算後的資料傳送的地點 ,你可能需要儲存下來。flink 常見的 sink 大概有如下幾類:寫入檔案、列印出來、寫入 socket 、自定義的 sink 。自定義的 sink 常見的有 apache kafka、rabbitmq、mysql、elast

網管必須熟悉的幾個網路DOS命令

一,ping 它是用來檢查網路是否通暢或者網路連線速度的命令。作為乙個生活在網路上的管理員或者黑客來說,ping命令是第乙個必須掌握的dos命令,它所利用的原理是這樣的 網路上的機器都有唯一確定的ip位址,我們給目標ip位址傳送乙個資料報,對方就要返回乙個同樣大小的資料報,根據返回的資料報我們可以確...

類的內部資料型別成員指標以及operator

指向成員的指標 成員指標 pointer to member 成員指標的語法要求 選擇乙個物件的同時,間接引用成員指標 include class objectclass friend std ostream operator std ostream os,const objectclass oc ...

運維人員必須熟悉的運維工具彙總

本文出自 老男孩linux運維 部落格,請務必保留此出處 下面是在linux 運維方向老男孩最近幾年常用的免費的開源軟體,臨時即興想起來的,在這裡和大家分享,希望給初學者指引一點路。linux的世界真的很精彩,還沒入門的朋友趕緊進來吧!作業系統 centos ubuntu,redhat suse,f...