原來我們在做時序資料庫

2021-10-14 15:10:19 字數 1236 閱讀 6796

我的任務是歷史庫的儲存:原則

1、可以看到各分布式時序資料庫雖然儲存方案都略有不同,但本質上是一致的,由於時序資料寫多讀少的場景,在單機上採用更加適合大吞吐量寫入的單機儲存結構,而在分布式方案上根據時序資料的特點來精心設計,目標就是設計的分片方案能方便時序資料的寫入和讀取,同時使資料分布更加均勻,盡量避免熱點的產生。--

2、資料分級儲存,熱資料、暖資料、冷資料分別儲存至記憶體、ssd和sata/sas中。

4、「儲存」都是需要持久化的,可以是u盤,硬碟,網盤等等,我們所講的「計算」其實就是我們的計算過程所需要的cpu和記憶體等。

5、關係型資料庫和非關係型資料庫:我見過最小的關係型資料庫是二維陣列,你得將a[i][j]分別新增好資料,才能通過a[i]知道a[i][j],excel也是,你得把每行,每列都存好資料。非關係型資料庫如map

6、我們直接把磁碟資料copy到了程序空間中,但實際上一般情況下i/o資料是要首先copy到作業系統內部,然後作業系統再copy到程序空間中。因此我們可以看到這裡其實還有一層經過作業系統的copy,對於效能要求很高的場景其實也是可以繞過作業系統直接進行資料copy的,這也是本文描述的場景,這種繞過作業系統直接進行資料copy的技術被稱為zero-copy,也就零拷貝,高併發、高效能場景下常用的一種技術

7、對於快取的理解:意思是主存(記憶體)中可以有快取,磁碟中也可以有快取。

8、主存和磁碟之間的資料交換不是以位元組為單位的,而是以n個扇區為單位的(乙個扇區有512位元組),通常是4kb(8個扇區),8kb(16個扇區),16kb,……64kb為單位的。

9、多台伺服器構成乙個快取集群,快取資料儲存在每台伺服器的記憶體中。

10、非聚集索引和聚集索引的區別在於, 通過聚集索引可以查到需要查詢的資料, 而通過非聚集索引可以查到記錄對應的主鍵值 , 再使用主鍵的值通過聚集索引查詢到需要的資料,不管以任何方式查詢表, 最終都會利用主鍵通過聚集索引來定位到資料, 聚集索引(主鍵)是通往真實資料所在的唯一路徑。

11、資料庫索引,是資料庫管理系統中乙個排序的資料結構,索引得本質是一種資料結構,如b+樹。

12、鎖和閂鎖:

13、分庫、分表

14、什麼tm的是原子性,就是把一條資料當成乙個原子,他們是統一的,不允許這個原子的質子和那個原子的電子鬧著玩。

時序資料庫

看到這類資料處理基本是要對乙個時間範圍的資料,根據時間段,維度進行歸類,做一些聚合運算。時序資料庫要解決的問題就是如何能在海量資料中,快速響應使用者的此類查詢。序資料庫的一些基本概念 不同的時序資料庫稱呼略有不同 metric 度量,相當於關係型資料庫中的table。data point 資料點,相...

時序資料庫介紹

什麼是時序資料庫 先來介紹什麼是時序資料。時序資料是基於時間的一系列的資料。在有時間的座標中將這些資料點連成線,往過去看可以做成多緯度報表,揭示其趨勢性 規律性 異常性 往未來看可以做大資料分析,機器學習,實現 和預警。時序資料庫就是存放時序資料的資料庫,並且需要支援時序資料的快速寫入 持久化 多維...

Influxdb 時序資料庫 windows 安裝

influxdb 是一款比較火爆的時序資料庫,本文介紹如何在 windows 平台下安裝。1.場景 windows 平台的 influxdb 似乎只支援單機非windows 服務的安裝方式 適用於測試環境或者想體驗什麼是時序資料庫。2.準備安裝包 截止到 2018 07 05,最新版本是 1.5.4...