Flink Kafka開發流程

2021-10-03 18:20:15 字數 1430 閱讀 9995

啟動命令:

sh zkserver.sh start

檢視狀態:

sh zkserver.sh status

關閉命名:

sh zkserver.sh stop

val properties =

newproperties()

properties.

setproperty

("bootstrap.servers"

,"master:9092"

)properties.

setproperty

("group.id"

,"consumer-group"

)properties.

setproperty

("key.deserializer"

,"org.apache.kafka.common.serialization.stringdeserializer"

)properties.

setproperty

("value.deserializer"

,"org.apache.kafka.common.serialization.stringdeserializer"

)properties.

setproperty

("auto.offset.reset"

,"latest"

)

// 第一步:設定執行環境設定

val env = streamexecutionenvironment.getexecutionenvironment

// 第二步:讀取資料 (source)

// 因為經常是從kafka讀取流式的資料,所以多練習從kafka讀取資料的方式

// 傳入引數(topic,反序列化工具,配置項)

val stream1 = env.

addsource

(new

flinkkafkaconsumer011

[string]

("sensor"

,new

******stringschema()

,properties)

)// 第三步:對資料集指定轉換操作邏輯 (transform)

val datastream = stream1.map

val res = datastream.

keyby

("id"

).reduce

// 第四步:指定計算結果輸出位置 (sink)

res.

print

("stream1"

)// 第五步:指定名稱並觸發流式任務

env.

execute

("transformapidemo"

)

軟體流程 開發流程規範

1 prd 介面文件 資料庫文件等按sprint分開整理並同步到confluence 2 前後端分離開發模式下,後端設計介面開發文件,同步到confluence,同時提供mock介面 3 後端功能初步拆分後,由各開發自主評估工期,再由專案leader評審 前端開發人員根據原型圖評估工期 測試人員根據...

app開發總結6 測試流程 開發流程

1,單元測試 對軟體的最小可測試單元進行檢查和驗證,通常是乙個函式 方法 2,整合測試 對每個子模組 子系統進行測試,確保每個子模組可以單獨執行 4,交付測試 目的是保證使用者對交付的系統滿意,此過程需要客戶的參與,並提出意見 bugtags 國內首款專門用於移動應用測試的平台,可自動收集分析奔潰資...

專案開發流程

專案計畫 專案經理發給專案組長需求規格說明書,專案組長根據說明書編寫乙個專案計畫。專案計畫交給專案經理審編。注 專案計畫詳解 開發專案的時間 人員數量 各個階段的時間 需求文件 組長對組員進行分工,將需求規格說明書分成不同的模組發給組員,組員在有效的時間內根據需求規格說明書編寫乙份需求文件,專案組長...