時序資料庫介紹

2021-10-21 00:09:17 字數 1157 閱讀 5860

什麼是時序資料庫

先來介紹什麼是時序資料。時序資料是基於時間的一系列的資料。在有時間的座標中將這些資料點連成線,往過去看可以做成多緯度報表,揭示其趨勢性、規律性、異常性;往未來看可以做大資料分析,機器學習,實現**和預警。

時序資料庫就是存放時序資料的資料庫,並且需要支援時序資料的快速寫入、持久化、多維度的聚合查詢等基本功能。

對比傳統資料庫僅僅記錄了資料的當前值,時序資料庫則記錄了所有的歷史資料。同時時序資料的查詢也總是會帶上時間作為過濾條件。

p1-北上廣三地2023年氣溫變化圖

表結構:

下面介紹下時序資料庫的一些基本概念(不同的時序資料庫稱呼略有不同)。

metric: 度量,相當於關係型資料庫中的table。

data point: 資料點,相當於關係型資料庫中的row。

timestamp:時間戳,代表資料點產生的時間。

field: 度量下的不同字段。比如位置這個度量具有經度和緯度兩個field。一般情況下存放的是會隨著時間戳的變化而變化的資料。

tag: 標籤,或者附加資訊。一般存放的是並不隨著時間戳變化的屬性資訊。timestamp加上所有的tags可以認為是table的primary key。

所有有時序資料產生,並且需要展現其歷史趨勢、週期規律、異常性的,進一步對未來做出**分析的,都是時序資料庫適合的場景。

可以看到時序資料庫需要解決以下幾個問題

l時序資料的寫入:如何支援每秒鐘上千萬上億資料點的寫入。

l時序資料的讀取:又如何支援在秒級對上億資料的分組聚合運算。

l成本敏感:由海量資料儲存帶來的是成本問題。如何更低成本的儲存這些資料,將成為時序資料庫需要解決的重中之重。

參考

時序資料庫

看到這類資料處理基本是要對乙個時間範圍的資料,根據時間段,維度進行歸類,做一些聚合運算。時序資料庫要解決的問題就是如何能在海量資料中,快速響應使用者的此類查詢。序資料庫的一些基本概念 不同的時序資料庫稱呼略有不同 metric 度量,相當於關係型資料庫中的table。data point 資料點,相...

Influxdb 時序資料庫 windows 安裝

influxdb 是一款比較火爆的時序資料庫,本文介紹如何在 windows 平台下安裝。1.場景 windows 平台的 influxdb 似乎只支援單機非windows 服務的安裝方式 適用於測試環境或者想體驗什麼是時序資料庫。2.準備安裝包 截止到 2018 07 05,最新版本是 1.5.4...

資料分析 時序資料庫

海量資料分析類系統的設計主要面臨2個大問題 優勢和劣勢 加入了hadoop體系的生態圈,更加容易被接受,同時省去了研發分布式儲存系統的麻煩,更多的是在分布式查詢上做優化。但無法在儲存上做更加深度的優化,比如沒有倒排索引支援,過濾查詢速度可能相對弱些,後面會重點分析下opentsdb的困局。優勢和劣勢...