那些年,我們一起踩過的統計分析的坑

2021-09-25 00:04:38 字數 2303 閱讀 1565

相關分析

回歸分析

聚類分析

主成分分析

因子分析

時間序列分析

ar時間序列

ma時間序列

arlma時間序列

暫待更新

暫待更新

假設檢驗是推論統計中用於檢驗統計假設的一種方法。而「統計假設」是可通過觀察一組隨機變數的模型進行檢驗的科學假說。

舉個例子:

在乙個集合裡,我需要抽樣一部分,得到樣本。我對樣本進行一系列的引數(均值,方差等)的求解。

但是,我如何判定,我通過樣本得到的引數,可以反應整個集合資料的引數呢?

或者,就是說:樣本引數與整體資料引數之間,有什麼關係?

這就是,我們假設檢驗想幹的事情。

乙個有趣的例子:假設我得到的引數是正確的,然後,對整體資料集合通過一系列的驗證或計算,得到分布概率,有小概率事件和大概率事件,分布概率在0.05之下的,小概率事件,假設不成立。

分布概率在0.05之上的,假設成立。

假設檢驗的種類包括:t檢驗,z檢驗,卡方檢驗,f檢驗等等。

這些都是不同的分布情況,對應不同的分布概率。

在上面的假設檢驗的基礎上,我們可以聯想,我們的計算的誤差。

換句話說,誤差分析就是分析:我們樣本引數對整體引數的誤差

假設檢驗就是,我們在乙個大資料集合內抽樣出一些小資料集合(樣本)。然後,計算樣本的引數,假設我們的樣本引數就是大集合的引數,進行一系列的計算,反證是否假設成立。

簡單的說,相關分析,就是分析自變數與因變數之間的相關性的過程。正相關,負相關,不相關。

回歸分析就是在相關分析的基礎上,定量的進行分析自變數與因變數之間的關係

一元回歸分析,很簡單的說,就是乙個自變數與乙個因變數之間的數量關係。

多元回歸分析,模擬一元微分學與多元微分學之間的關係,可以看成:多個自變數與?乙個?因變數之間的數量關係。

logit回歸,又名邏輯回歸。邏輯,0和1之間的相愛相殺。

所以,邏輯回歸,也是在因變數為二元結果(真或假)條件下的回歸。

同時,冪律分布又和邏輯回歸有著千絲萬縷的聯絡

其實,聚類分析,也是一種特殊的回歸方式,不同於使用回歸曲線進行逼近。

聚類分析另闢蹊徑,在分類的基礎上,將資料以聚成類的形式進行回歸分析。

這裡說一下,

分類,首先,你要有分類的標準和分的類的數量。

但是,聚類不太一樣。聚類,是全靠緣分。沒錯,我們通過定義聚類的標準(使用什麼距離進行聚類:歐式距離,閔科夫斯基距離,切比雪夫距離等等)然後,經過不斷的聚類,直至不在變化,聚類完成。所以說,聚類,緣分很重要

具體的過程,待定更新

簡單點,假設我有4個指標(自變數維數)分別為x1,x2,x3,x4.

然後,主成分分析就是通過正交變換,把x1,x2,x3,x4換到y1,y2,y3,y4.

同時,有

然後,看y1,y2,y3,y4的特徵值是否大於1,大於1,代表資料資訊濃縮,小於1代表資料資訊膨脹。等於1,代表資料資訊未變化。

直接去特徵值大於1的yi,i=1,2,3,4,構成新的自變數指標。

因子分析,與主成分分析的不同在於,因子分析裡面的因子旋轉,相當於,我在進行了一步忽略。

這裡的忽略是指:若正交矩陣(我上面敲的那個矩陣乘法中間的那個最大的矩陣)裡的成分,若小於某個數值,我們可以近似為0,進一步降低了資料的複雜程度(同時又損耗了一部分資料資訊)。

然後,我們需要對我們因子旋轉之後得到的新的自變數,解釋一下它可能代表的含義。

這個,時間序列,顧名思義,把時間作為自變數。一般都是一元回歸的變形(一對一)。

這裡簡單介紹一下什麼是差分。

差分,**於微分d,把微分d的δ

\delta

δx 變大一下,就從微分變成了差分,很神奇。

差分在時間序列裡到底幹了什麼呢?

暫代更新

暫代更新

暫代更新

ps:一些鏈結

常用的資料統計方法與工具

常用的資料統計方法與工具

資料分析的30種坑法

資料分析的30種死法

區分資料分析與資料探勘,前者偏向於業務分析,後者偏向於資料庫演算法。

那些年我們一起清除的浮動

方法一 after main warp自己閉合浮動了,所以footer不用再清除浮動了 float left side 我也浮動了 float left 為了建立跨瀏覽器相容的同樣的盒模型布局,我們可以把原來的清除浮動的方法改良一下,採用偽類 before 和 after clearfix befo...

那些年我們一起追的前端

此博文有毒,慎點!陽光夾雜著微風滲進了屋內,輕撫著坐在工位上的我,而此時的我是心懷愧疚的,因為我正在寫著一篇不那麼像技術文章的技術文章,而且還變成了赤裸裸的標題黨.對於此,我只能懇求您暫時收起板磚,容我慢慢道來,向您訴說這文章由來的前因,說完了,再拍我也不遲 時光如梭,轉眼間三個月過去.a很榮幸的接...

那些年,我們一起連過的WIFI!(PC)

我們到達乙個地方之後,問的第一句話往往是 你們這兒有wifi嗎?密碼是多少?今天,我們一起來瞅瞅那些年我們連過的wifi!首先,開啟 命令提示符 輸入命令 netsh wlan show profiles回車則顯示wlan配置檔案。根據顯示的配置檔案,可選擇你要檢視的wifi資訊,這裡以檢視 taq...