統計演算法學習梳理(二)

2021-07-04 14:23:58 字數 1927 閱讀 8404

接下來的幾種模型沒有用,只是在學習書本裡中提到。在此僅僅作為乙個搬運工,然後結合自己的理解慢慢修改。

8,邏輯斯諦回歸模型

1,回歸分析。回歸分析本質上就是乙個函式估計的問題,就是找出因變數和自變數之間的因果關係。 2,

邏輯斯諦回歸(logistic regression)又叫對數回歸,其本質上是線性回歸,只是在特徵到結果的對映中加入了一層函式對映。即一般線性回歸中認為:

對於其它模型,很多從名字上就點理解一些,但對「邏輯斯諦回歸

」很是不解,為什麼不直接說邏輯回歸?按音譯的話把邏輯兩個換了以,不是技術男,個人愚見了,hh)

9,提公升方法

在此完全引用三句話(學習資料4):

1,提公升方法是基於這樣一種思想:對於乙個複雜任務來說,將多個專家的判斷進行適當的綜合所得出的判斷,要比其中任何乙個專家單獨的判斷好。通俗點說,就是」三個臭皮匠頂個諸葛亮」。

3,在學習中,如果已經發現了「弱學習演算法」,那麼能否將它提公升(boost)為」強學習演算法」。大家知道,發現弱學習演算法通常比發現強學習演算法容易得多。那麼如何具體實施提公升,便成為開發提公升方法時所要解決的問題。關於提公升方法的研究很多,有很多演算法被提出。最具代表性的是adaboost演算法(adaptive boosting algorithm),可以說,adaboost實現了pac的理想。

10,em演算法

1,em演算法是一種迭代演算法,用於含有引變數的概率模型引數的極大似然估計,或極大後驗概率估計。

2,em演算法每次迭代分為兩步:e步,根據現有的模型引數,將觀測資料輸入到模型中進行計算,求期望;m步,重新計算調整模型引數,求極大。

11,感知機

1,感知機是二分類的線性分類模型,其輸入為例項的特徵向量,輸出為例項的類別。

2,感知機學習旨在求出將訓練資料集進行線性劃分的分類超平面,為此,匯入了基於誤分類的損失函式,然後利用梯度下降法對損失函式進行極小化,從而求出感知機模型。感知機模型是神經網路和支援向量機的基礎。

12,條件隨機場

1,條件隨機場(conditional random fileld,crf)是給定一組輸入隨機變數的條件下另一級輸入隨機變數的條件概率分布模型,其特點是假設輸出變數構成馬爾可夫隨機場。

2,馬爾可夫隨機場,在乙個研究空間域裡,第個例項只它的鄰居有關係,與其他的例項沒有關係。

13,人工神經網路

在人工神經網路,看了一些資料,感覺吳軍老師在《數學之美》中介紹的還不錯,在這部分基本上都是書中內容。

首先是對吳軍老師在書裡所寫的對學習人工神經時的感覺表示同意,這個詞很唬人,更有拿這個詞唬人的人,不然也有願意講但是讓人聽不明白的人。

人工神經網路本質上是乙個有向圖,只不過是個特殊的有向圖。其特殊性概括為兩點:1,圖中所有節點都是分層的,每一層節點都可以通過有向弧指向上一層節點,但是同一層節點之間沒有弧連線,且每個節點不能越過一層連線到上上層節點;2,第一弧上有乙個值(或稱權重),根據這些值,可以用乙個非常簡單的公式算出它們把指節點的值。

14,多維縮放

多維縮放就是把多維的資料降到低維空間但是仍然盡可能的保持原來資料之間的距離關係(高維下距離近的兩點在低維下仍然近,遠的仍然遠)。

15,非負矩陣因式分解

可以將一組數值型的觀測資料拆解成不同的分組。

演算法要求輸入多個樣本資料,每個樣

本資料都是乙個m維數值向量,首先把我們的資料集用矩陣的形式寫出來,每一列是乙個資料,而每一行是這些資料對應維度的數值。於是我們就有了乙個大小為m*n的輸入矩陣。而演算法的目標就是將這個矩陣分解為另外兩個非負矩陣的積。

16,優化演算法

不同於之前的分類和聚類演算法,優化的目的是嘗試找到乙個使成本函式輸出最小化的值。這裡主要包括兩個演算法:模擬退火演算法和遺傳演算法。

學習資料:

1,《統計學習方法》李航

2,《集體智慧型程式設計.programming collective inteligence》

3,回歸分析.:

4,5,《數學之美》

6,感知機模型.

字元統計演算法

一 要求 給定乙個字串,從字串中找出出現次數最多的字元。二 實現 原理 利用陣列來儲存字元出現的次數,利用陣列下標表示對應的字元。1 include 2 include 34 5 要統計的字串 6char s aaffcsdf23aaaaa41678hjjm aaaa 789int main voi...

順序統計演算法 2019 5 25

題目 給定陣列a 0.n 1 試設計乙個演算法,在最壞情況下用n logn次比較找出a 0.n 1 中元素的最大值和次大值。輸入 序列長度 陣列a 輸出 maxnum cmaxnum input 7 1 2 3 4 5 6 7 output 7 6 思想 用分治法將陣列中的數分為兩個序列,遞迴求出左...

常用統計演算法JAVA實現 極差(04)

描述 集中趨勢量數 極差 不包含 方法名 range param in return 返回型別 double 建立人 micheal 建立時間 2019年1月2日下午10 26 20 修改人 micheal 修改時間 2019年1月2日下午10 26 20 修改備註 since throws pub...