海量資料效能優化措施

2021-08-30 07:14:59 字數 1574 閱讀 8292

大家一起討論總結下海量資料效能優化措施有哪些,要求:

1. 最好是通用的優化措施,不是針對某個特定資料庫的優化措施。如果針對某個特定資料庫,則需要單獨說明。

2. 這裡說的效能優化:主要是查詢效能,也包括增加,刪除,更新資料時的效能。

4. 這裡說的海量資料報括以下兩種情況:

(1)上億的資料量。

(2)百萬到千萬的資料量。

個人之所以這麼分,是覺得這兩種數量級,優化處理方法差別比較大的。

5.大家可以從硬體配置,資料庫設計配置,sql優化,程式優化等多方面考慮。

暫考慮主要有以下措施:

1.建立索引,根據不同的情況建立不同的索引,具體不細說。另外:sql server裡有聚集索引和非聚集索引,oracle中對應的是什麼索引,誰知道?

2.建立表分割槽,將分割槽對應的表空間儲存在不同的磁碟上。、

3.分表:建立同樣的表結構的表n個,儲存不同範圍的資料。

4.設計上拆分表:比如原來複雜的表,通過關聯拆分成多個表,主表只保留主要字段。、

5.表的冗餘設計。

6.設計效能優良的sql語句。

我主要是想總結下而已,沒有具體環境。總結些常用的解決方案。我不是說以後有場合就用,而是說,到了具體需要用的時候,知道從哪些方面著手,然後再具體問題具體分析。

另外:sql server 裡的聚集索引對應到oracle中,有什麼同樣的功能呀。sql server 裡的聚集索引就是根據資料儲存的物理順序建立索引,所以效率很高,也基於這個原因,所以每個表必須只有乙個聚集索引,因此在需要用的時候,要好好規劃,究竟哪個字段需要設定成聚集索引。。但是我現在用的最多的是oracle ,我想知道有什麼類似的功能。

朋友良好貼:

banq       

首先要採取切割方式,具體情況具體研究。

這些資料其實代表業務,能否根據業務劃分子領域,找出核心領域,不能就資料論資料,沒有一套褲子適合所有人穿,一定要打破那種學好一套數理化,走遍天下都不怕的僵硬解決問題的思路。

效能之所以優化,而不是提公升,是因為優化這個概念中就有天花板,也就是說:總有一天優化不下去。

大資料量的效能提公升就是將資料從資料庫這個盒子裡面拿出來,重點研究解決,而不是隔著靴子(具體資料庫產品)撓癢癢,這是基本邏輯,先把方向選定,別急著討論技術細節,否則南轅北轍。

scalable伸縮性是軟體的乙個設計目標,如今分布式雲計算非常廉價而且容易,google自己就用雲計算樹立了乙個解決大資料的典範。

acoder

1、最簡單的提公升效能的方法就是提公升硬體,增加硬體的投入效果立竿見影,不過這個主要是是投資方的可接受成本問題了。一般的來說從硬體方面的投資主要是購買大型機rs9000,購買磁碟櫃(同時也是高可用的需要),增大記憶體。這些都可以提公升系統的速度。

2、從軟體方面來說首先應該盡量使用64位的資料庫,同時資料庫應當建立在裸裝置上。

3、你說的確實是對的,對於億級別的資料通常是歷史資料,而百萬以及千萬級別的資料通常是交易資料,這兩種確實有很大區別,歷史資料多為了讀取,交易資料通常是可修改的,在建立索引的時候要考慮插入的問題。

4、通常有表分割槽功能的資料庫就不需要在設計上進行分表設計,只有在資料庫系統不提供該功能的時候才會採用分表設計。分割槽要建立在不同的磁碟上以提公升io效能。

海量資料效能優化措施

大家一起討論總結下海量資料效能優化措施有哪些,要求 1.最好是通用的優化措施,不是針對某個特定資料庫的優化措施。如果針對某個特定資料庫,則需要單獨說明。2.這裡說的效能優化 主要是查詢效能,也包括增加,刪除,更新資料時的效能。4.這裡說的海量資料報括以下兩種情況 1 上億的資料量。2 百萬到千萬的資...

Mysql海量資料優化

1.選擇合適的儲存引擎 兩個儲存引擎 myisam 和 innodb myisam合適count 但寫效能不好 innodb合適併發讀寫 事物 2.優化字段資料 3.為字段建立索引 4.避免使用select 5.使用 enum 而不是 varchar 6.盡可能的使用 not null 7.固定長度...

海量資料儲存之新儲存裝置效能優化

本文主要講述nosql在flash裝置上的可以選擇的其中一種優化策略,並粗略提了一下ssd裝置的特性。對flash裝置的效能優化,微軟曾經做過乙份 但是裡面很多東西比較侷限 比如 中將ssd作為了寫入的buffer,而眾所周知,寫效能不會是任何一款nosql的瓶頸 比如ssd的索引採用了hash的資...