牛頓方法，一種最大（小）化演算法
—–newton』s method
演算法原理，對函式f(
θ )，使用下式進行迭代：
的收斂值會使得f(
θ )=0，影象只管理解如下，詳細介紹在note1 page20：
對於最大化問題，我們應當使目標函式的導數為0，因此f(
θ )在這裡為目標函式的一階導數ℓ′(θ)：
在邏輯回歸中，
θ 為向量，因此迭代公式為矩陣形式：
這裡h叫做hessian矩陣：
過半情況下，牛頓法比梯度下降法收斂更快，但是當θ的維數很高時，求逆的計算代價很大。檔牛頓法用於最大化log likelihood function時，該方法也被叫做fisher scoring。
之前介紹的高斯分布和伯努利分布的分類，都是在乙個更大的模型裡，我們叫做generalized linear models，接下來我們將對glm進行推導並應用於其他的回歸分類問題。
指數家族
—–the exponential family
對於可以寫成如下形式的分布，我們稱其在指數家族中：
η：natural parameter/canonical parameter
t(y)：sufficient statistic/充分統計量（統計學中的概念，日後再理解），通常情況下為y。
a(η)：log partition function；e−
a(η)
是乙個歸一化常量，它確保p(y; η)的積分為1。
對於固定的t，a和b定義了乙個引數為η的分布族，當我們改變η，我們會獲得這個族中不同的分布。
對於伯努利分布：
對於高斯函式，為了簡化推導過程，令方差為1，則：
由此可見，伯努利分布高斯分布都是指數分布族。
事實上還有許多分布也在指數族中，例如泊松，多項式分布multinomial，伽馬和指數分布等。接下來討論如何建立一種模型，該模型能通過給定的x和
θ 來得到y。
建立glms
為了推導glms，我們首先要對y對x的條件分布做如下三點假設：
1.y | x; θ∼ exponentialfamily(η).
2.給定x，我們的目標是**t(y)的期望值，當t(y)=y,hθ
(x) =e[y|x; θ].
3.natural parameter η和inputs x滿足線性關係：η = θt x；如果η是乙個向量，那麼ηi
=θti
x .
第三條假設是最難滿足的一條，接下來我們將用glm推導邏輯回歸和最小二乘法。
最小二乘法
目標變數y在glm術語中被稱為response variable，假設我們假設條件分布滿足高斯分布，則由之前的推導，得到u=
η ,所以：
邏輯回歸
如果y|x; θ ∼ bernoulli(φ), then e[y|x; θ] = φ，由之前的推導，φ = 1/(1 + e−
η ),可得：
被稱作canonical response function g−
1 被稱作canonical link function
softmax regression
對於**目標y∈
12,.
..,k
，這是乙個多分類問題。可以將其定義為多項式分布。
因為多分類問題有k個可能的結果，因此使用k個引數φ1
,...
,φk 來表示每種結果的可能性，事實上只需要k-1個引數就可以表示所有的引數，因為∑i
=1kφ
i=1 。
為了把多項式分布表示為指數族分布，定義t(
y)∈r
k−1 :
這裡介紹乙個指示函式indicator function 1：1 = 1, 1 = 0.
所以(t(y))i = 1，(t(y))i表示t(y)的第i個元素
再之後我們還有e[(t(y))i] = p(y = i) = φi.
首先我們證明多項式分布是指數家族的一員：
這裡：
link function為：
為了方便我們定義ηk
=log
(φk/
φk)=
0 對link function求逆得到response function：
這意味著φk
=1/∑
ki=1
eηi ,帶入上式可得
到φ的對映成為softmax function
根據假設可得：
應用在多分類問題上的該模型成為softmax regression
換句話說，對於每乙個i = 1, … , k，我們的假設都會輸出乙個估計的可能性p(y = i|x; θ)。
最後對於引數的訓練，我們寫下 log-likelihood函式
我們使用梯度上公升或者牛頓法來獲取最大值點。
鋼琴第四課
因為此前每天都練琴，曲譜也都記住了，所以，週六，臨時被老師喊去時，非常自信。學到了很多知識。1.連貫性方面 連貫性要注意 其實，連貫性在於對曲目的熟練程度，手指的靈活程度，還有不同音之間的連貫跳躍 音要連續 不同音，要連續連線在一起 這個音落下，上個音才起來 2.節奏方面 四分音符要短快，彈到了，立...
jQuery 第四課 常用方法
在前幾章介紹了jquery如何定位，jquery的包裝集，不過對於定位到的物件，如果沒有豐富的方法來使用，那也只是紙上談兵 1.text 2.html 3.val 4.css 5.attr 會提供 和效果來對這幾個方法的效果加深影響 我們通過以下例項來介紹這幾個常用方法 解析 1.單擊 id 為 a...
Android OpenGL教程 第四課
android opengl 教程 第四課旋 在這一課裡，我將教會你如何旋轉三角形和四邊形。左圖中的三角形沿y軸旋轉，四邊形沿著x軸旋轉。我們增加兩個變數來控制這兩個物件的旋轉。這兩個變數加在程式的開始處其他變數的後面。它們是浮點型別的變數，使得我們能夠非常精確地旋轉物件。浮點數包含小數字置，這意味...