千萬級資料統計分析

2021-05-21 10:15:52 字數 464 閱讀 8036

當我們的資料庫中某乙個表的資料量達到了千萬級,同時我們還要依據此表進行資料統計以及分析,這時候麻煩就來了。程式不等待的時間過長,容易造成程式假死的症狀,這樣會給使用者帶來很不好的印象。如何解決這樣的問題呢?

我這裡是我的經驗之談,有可能有不正確的地方,請大家指正。

1,把統計的時間分散。首先,建立統計表(該錶儲存相應的統計資料),然後,通過觸發器捕獲表的資料(insert,update,delete),把相應的統計資料,新增到統計表中,最後,程式呼叫統計表。這樣會高速的獲取資料。

2,通過時間觸發器進行統計。當然,時間的顆粒度根據實際的情況而定。

3,通過職守程式進行統計,在某一時間點內進行資料統計,並儲存在統計表中。

我們也可以根據資料庫的特性,進行很好的統計。如db2的mqt(物化表)

什麼是物化表呢?檢視的概念都知道吧!

物化表=檢視+實體表,如果你理解了物化表,那麼如何進行高效能的統計,我就不說了。

資料統計分析方法

資料統計分析方法 描述統計 假設檢驗 相關分析 方差分析 回歸分析 聚類分析 主成分與因子分析 時間序列分析 決策樹。回歸分析 研究自變數與因變數之間的關係 可以用來 因變數的值 線性回歸使用最佳的擬合直線 也就是回歸線 在因變數 y 和乙個或多個自變數 x 之間建立一種關係。多元線性回歸可表示為y...

資料統計分析常用指標

在進行資料分析時,經常會遇到一些分析指標或術語。這些術語是幫助我們開啟思路,通過多個角度對資料進行深度解讀,可以說是前人已經總結和使用的資料分析方法。下面是資料統計分析常用的指標或術語 1.平均數 一般指算術平均數。算術平均數是指,全部資料累加除以資料個數。它是非常重要的基礎性指標。幾何平均數 適用...

資料統計分析軟體介紹

工欲善其事,必先利其器!資料分析也好,統計分析也好,資料探勘也好 商業智慧型也好都需要在學習的時候掌握各種分析手段和技能,特別是要掌握分析軟體工具!在資料分析領域,都有哪些軟體分析工具呢?如何選擇呢?其實很多領域或者說分析方法都有相應的軟體工具,只要你想找就應該能夠找到!這裡把軟體分成縱橫四個層次的...