時序資料簡介

2022-08-04 10:12:10 字數 1491 閱讀 7192

生活中,我們經常會接觸到需要對某些指標或者狀態按時間序列進行統計和分析的場景,典型的如****走勢、氣象變化、記憶體監控等。

這些依賴於時間而變化,可以用數值來反映其變化程度的資料就叫時序資料。時序資料具有兩個關鍵的指標:監測時間和監測數值。

時序資料按照其資料組織形式可以分為單值模型和多值模型兩種。

單值模型一條監測記錄只對應乙個指標的資料,如下表所示,每行資料為一條監測記錄,每條記錄只能反映乙個監測指標的資訊。

metric

timestamp

br#server

city

cpu2017-09-27t16:55:01z

server1

hangzhou

0.1memory

2017-09-27t16:57:12z

server2

shanghai

0.2多值模型一條監測記錄可以對應多個指標的資料,如下表所示,每行資料為一條監測記錄,每條記錄可以反映不同監測指標的資訊。

timestamp

br#server

city

cpumemory

2017-09-27t16:55:01z

server1

hangzhou

0.10.2

2017-09-27t16:57:12z

server2

shanghai

0.20.3

單值模型和多值模型在資料表示上可以進行相互轉化,如多值模型可以用多條記錄的單值模型來表示,同時多值模型也可以退化為只記錄一項指標。因此,不管是單值模型還是多值模型都可以解決實際當中時序資料相關的問題。但是需要指出的是,兩種模型在具體實現上還是有一些差異的,需要根據實際的業務場景選擇合適的時序資料庫。

時序資料在實際的業務需求中一般降取樣、插值、聚合三種方式。

時序資料在實際當中是連續的資料,理論上給定任意的時刻都能查詢得到其對應的值,但是計算機在儲存資料的時候只能按照一定精度進行取樣,儲存取樣到的離散的數值。

降取樣的示意如上圖所示。在具體的業務場景當中,我們也往往不需要太高的精度,比如檢視一年的**走勢,我們把精度下降到天為單位就能滿足需求,同時也能提高處理速度。

時序資料可能會因為取樣精度和儲存過程中的錯誤導致丟失部分業務需要的資料,這個時候我們可以利用時許資料的特點對其進行插值,來近似獲取這部分丟失的資料。

如上圖所示,利用線性插值來計算時間點為x的監測值得。

很多業務場景常常需要對時序資料進行聚合處理,常用的聚合方法如求和、均值、最大值、最小值、計數等。與普通資料庫的聚合不同的是,時序資料庫的聚合針對的是抽象的時間線。

如上圖所示,不同監測項或者同乙個監測項不同標籤可以按時間序列抽象出不同的時間線,對其進行聚合可以得到新的時間線。

基於 mysql時序 時序資料庫簡介

時間序列資料庫簡稱時序資料庫 time series database 用於處理帶時間標籤 按照時間的順序變化,即時間序列化 的資料,帶時間標籤的資料也稱為時間序列資料。時序資料的幾個特點 1.基本上都是插入,沒有更新的需求。2.資料基本上都有時間屬性,隨著時間的推移不斷產生新的資料。3.資料量大,...

時序資料庫

看到這類資料處理基本是要對乙個時間範圍的資料,根據時間段,維度進行歸類,做一些聚合運算。時序資料庫要解決的問題就是如何能在海量資料中,快速響應使用者的此類查詢。序資料庫的一些基本概念 不同的時序資料庫稱呼略有不同 metric 度量,相當於關係型資料庫中的table。data point 資料點,相...

arima處理時序資料

一 arima原理 1.1自回歸模型ar 自回歸模型描述當前值與歷史值之間的關係,用變數自身的歷史事件資料對自身進行 自回歸模型必須滿足平穩性的要求。1 自回歸模型首先需要確定乙個階數p,表示用幾期歷史值來 當前值。p階自回歸模型的公式定義為 a 用自身資料進行 b 時序資料必須具有平穩性,均值為0...