從kafak獲取資料,處理後存入redis中。

2021-10-24 01:55:27 字數 1084 閱讀 1446

1.題目要求

/**

* 使用者id ip位址 商品分類 購買明細 商品金額

* a 202.106.196.115 手機 iphone8 8000

** 問題1.計算出總的成交量總額(結果儲存到redis中)

* 問題2.計算每個商品分類的成交量(結果儲存到redis中)

* 問題3.計算每個省份的成交總額(結果儲存到redis)

*/

資料可以從kafka獲取,為了方便測試也可以從nc埠獲取,nc埠獲取資料函式見1,資料處理略(與kafka資料處理大部分相同)

object test 

)//4.將資料收集到driver端,並廣播出去

val arr = iplongcity.collect(

)val broadarr = ssc.sparkcontext.broadcast(arr)

資料處理

kafkastream.foreachrdd(rdd=>

(city,types,money)})

.foreach(arr=>)}

})ssc.start(

) ssc.awaittermination(

)}

把ip轉換為long型別 直接給 125.125.124.2

def ip2long(ip:

string):

long

= ipnum

}

二分法查詢ip ,返回index,表示ip在array陣列中的下標,查詢不到返回-1

def ipquery(ip:

long

, value: array[

(long

,long

,string)]

):int=

else}-

1}

獲取jedis連線

class jedisconn 

}

Form表單獲取資料處理

提交表單填寫的資料 var formdata form id calculateshipcostform serialize var formdataarr form id calculateshipcostform serializearray console.dir formdata 通過 fo...

掃碼槍獲取資料處理

掃碼槍的工作原理和鍵盤輸入事件一樣 方法一 在created鉤子函式裡面監聽鍵盤輸入的事件獲取掃碼槍輸入的值 var b var this this document.onkeydown function else this.msg b 方法二 通過輸入框聚焦事件獲取輸入的值 不過大部分的掃碼槍需求...

從外部資料採集到資料處理流程

對於大型產線程式來說,很多人尤其是程式設計師很好奇,資料到底從 來,又是怎麼處理的呢?有沒有你?反正我很好奇,那麼接下來就簡單兩句話說下,至少心裡有個概念!首先要明確這個資料不是憑空造出來的,而是來自生產現場的真實資料,而且是自動採集的,不然人員手錄的話,資料不準確,而且是很大的工作量。對於產線上的...