時間序列統計總結

2021-09-01 22:05:25 字數 2203 閱讀 9915

時間序列統計總結:

1.時間序列可以簡單通過以時間視窗為key的聚合,比如10秒為乙個時間視窗,那10秒發生的所有事件都聚合為乙個。

2.以某個維度做聚合,維度資訊可以記錄下來。比如以時間+ip為維度進行聚合,ip是可以儲存的。

4.如果乙個維度只聚合不需要按照條件進行查詢,可以不新建維度。舉個例子,pv和http_code,之前的方案是新增http_code這種維度:

|h- 200|12:00|[,]|

|h- 301|12:00|[,]|

|h- 500|12:00|[,]|

另外一種更簡單的實現:

|p|12:00|[,]|,通過values為每種維度分別統計count數,可以看到這種實現更簡單,儲存資料量更少。

1. pv

時間序列:

|p|12:00|[,]|

|p|13:00|[,]|

總量:時間範圍內的sum(count)

查詢:query= 'p',filter= date:[1389776400 to 1389776400], order by date

|p-detail site |12:00|[,]|

查詢detail-site:query='p-detail and site',filter= date:[1389776400 to 1389776400], order by date

查詢detail-all:query='p-detail',filter= date:[1389776400 to 1389776400], order by date

2)pv-code(查詢出來之後分析每種code佔比)

|h- 200|12:00|[,]|

|h- 301|12:00|[,]|

|h- 500|12:00|[,]|

查詢200:query='h- and 200',filter= date:[1389776400 to 1389776400], order by date

查詢500:query='h- and 500',filter= date:[1389776400 to 1389776400], order by date

3)pv-anonymous(匿名/非匿名)

|p-a|12:00|[,]|

|p-ua|12:00|[,]|

|p-a|13:00|[,]|

|p-ua|13:00|[,]|

|p-site|12:00|[,]|

|p-site|13:00|[,]|

5)pv(ip-->page)(ip資料量很大導致維度很大(ip*page種維度),解決方案: 可以過濾build,不是所有page都有必要,關鍵page:site,login,add。轉換為sql可以理解為where page=? group by ip)

|p-ip1-login|12:00|[,]|

|p-ip2-login|12:00|[,]|

6) pv-backend

|p-s1|12:00|[,]|

|p-s2|12:00|[,]|

|p-s3|12:00|[,]|

補充:|p-login-site|12:00|[,]|

發圖ip位址聚合(1小時)

1. ip數,只是aggregation演算法不同

時間序列:

|u|12:00|[,]|

|u|13:00|[,]|

總量:時間範圍內的sum(count)

維度彙總

0. 首頁

1. 業務page(例:**,移動,login,reg的曲線)

2. backend(例:s1,s8的曲線)

3. httpcode(例:200,500的曲線)

4. 匿名(例:匿名/非匿名的曲線)

資料模型

|10:00|g|[10:[400,150,100,10]]|

|10:00|p 200|[10:[200,150,100,10]]|

|10:00|p 500|[10:[200,150,100,10]]|

實現總結:

identifie-metric1,metric2,metricn  timestamp value

首頁:g (pv,uv,ip)

業務:b

匿名: a

例子:b-login s1 200 site

b-login s2 200 site

統計 Oracle按照時間統計總結

統計 oracle按天統計 詳細 統計 oracle按周統計 詳細 統計 oracle按月統計 詳細 統計 oracle按季度統計 詳細 統計 oracle按年統計 詳細 看了我上面發的幾篇文章,我們很容易的就能發現乙個規律。按照時間統計也是有規律的.大家發現了有什麼不同之處嗎?按天統計 selec...

統計 Oracle按照時間統計總結

統計 oracle按天統計 詳細 統計 oracle按周統計 詳細 統計 oracle按月統計 詳細 統計 oracle按季度統計 詳細 統計 oracle按年統計 詳細 看了我上面發的幾篇文章,我們很容易的就能發現乙個規律。按照時間統計也是有規律的.大家發現了有什麼不同之處嗎?按天統計 selec...

時間序列簡單總結

今天看了一下唐宇迪的時間序列分析,對時間序列有了初步的認識。首先時間序列即以時間未變化 x軸 的一系列資料。這個資料可能變化的情況非常劇烈,所以不便於分析,我們希望它能反應出穩定的變化趨勢,這時候便有了arima模型,這個模型主要反映的還是資料的以時間為橫軸的差分變化情況,一階差分即將t時刻資料值減...