關係型資料庫大資料量遞進解決方案及誘發問題

2021-09-11 10:36:06 字數 355 閱讀 7200

1、使用反三正規化模型,設定冗餘字段,減少多表聯查。

2、資料量增多,單靠主鍵查詢效率低效,增加查詢字段索引,提公升查詢效率。

3、單節點壓力過大,採用讀寫分離,將查詢壓力增加到其他節點,查詢節點設定索引,插入節點不設定索引。但會導致資料存在時差,如果有多個讀節點,將會導致短時間內資料不一致。

4、使用redis、memcached等快取中介軟體,將常用的查詢資料快取。但是會存在資料一致性問題,需要通過**來保證資料強一致。

5、資料到達百萬級以上,採用資料庫分表分割槽,將同乙個表中的資料分散到不同的分表分割槽中。運維難度加大,並且如果分割槽hash不合理,會產生資料傾斜,重分割槽資料遷移會導致產生大量io,重分割槽過程中,服務提供的效能大大降低。

資料庫大資料量去重實現方式

前提 表a 字段 id a1 a2 可以有多個字段,在此為方便只列出3個字段,其中id是主鍵,因此在乙個表中是唯一的 方式一 delete from a where a.id not in select max id from a group by a1,a2 說明 資料量很大時候,執行非常慢。大資...

關係型資料庫 非關係型資料庫

關係型資料庫,是指採用了關係模型來組織資料的資料庫。關係模型是在1970年由ibm的研究員e.f.codd博士首先提出的,在之後的幾十年中,關係模型的概念得到了充分的發展並逐漸成為主流資料庫結構的主流模型。簡單來說,關係模型指的就是二維 模型,而乙個關係型資料庫就是由二維表及其之間的聯絡所組成的乙個...

關係型資料庫 非關係型資料庫

2019 02 25 20 38 36 關係型資料庫和非關係型資料的比較 一 關係型資料庫 關係型資料庫最典型的資料結構是表,由二維表及其之間的聯絡所組成的乙個資料組織 優點 1 易於維護 都是使用表結構,格式一致 2 使用方便 sql語言通用,可用於複雜查詢 3 複雜操作 支援sql,可用於乙個表...