streaming程式記住kafka歷史次數 I

● 此方法不建議使用

package com.ws.streaming

import org.apache.spark.
import org.apache.spark.streaming.dstream.
import org.apache.spark.streaming.kafka.kafkautils
import org.apache.spark.streaming.
/** * kafka將歷史次數累加,該方法容易造成資料丟失，一旦此程式關閉重啟將不會讀取歷史次數，而是從新開始
*/object statekafkawordcount 
} def main(args: array[string]): unit = 
}

[root@hadoop-03 kafka_2.11-0.8.2.2]# ./bin/kafka-console-producer.sh --broker-list hadoop-01:9092,hadoop-02:9092,hadoop-03:9092 -topic ws

[2018-09-15 18:09:01,454] warn property topic is not valid (kafka.utils.verifiableproperties)
nice hadoop hive
hive hadoop spark

-------------------------------------------

time: 1539137195000 ms
-------------------------------------------
(hive,1)
(hadoop,1)
(nice,1)
warn [thread-14] - expecting 1 replicas with only 0 peer/s.
warn [thread-14] - block input-0-1539137195600 replicated to only 0 peer(s) instead of 1 peers
-------------------------------------------
time: 1539137200000 ms
-------------------------------------------
(hive,2)
(spark,1)
(hadoop,2)
(nice,1)

kafka學習歷史

訊息中介軟體kafka 一 簡單介紹 二 訊息佇列的兩種模式 點對點模式 只能消費一次 發布 訂閱模式 kafka的模式 可以多次消費 三 基本元件 broker kafka程序 topic 訊息分類元件，是乙個邏輯概念 partition 分割槽主要用於提高集群的負載能力，每個partition都...

linux 必須記住的快捷鍵，別名和歷史命令

linux必須記住的快捷鍵 ctrl c 強制終止命令 ctrl l 清屏，相當於clear ctrl a 游標跳到命令列首 ctrl e 游標跳到命令行尾 ctrl u 游標所在位置刪除到行首 ctrl z 將命令放入後台 ctrl r 再歷史命令中搜尋 別名 alias rm 刪除的時候回詢問是...

C語言必須要記住的經典程式

1 判斷101 200之間有多少個素數，並輸出所有素數及素數的個數。程式分析 判斷素數的方法 用乙個數分別去除2到sqrt 這個數 如果能被整除，則表明此數不是素數，反之是素數。include math.h main intm,i,k,h 0,leap 1 printf n for m 101 m ...