andrew zhang
may 24, 2016l0
,l1,
l2，l
1 正規化效果是使得引數每一項的值向0縮減，而l0
,l2 正規化則是通過將一些引數的權值歸零來縮減特徵的個數。
一、多工學習的提出
在多工學習中，每乙個任務下資料特徵的維數相等，並且對應於相同的意義。 基於l
1 正規化可以縮減特徵的性質，multi-task feature learning via efficient l2, 1-norm minimization這篇文章將其擴充套件到了多工學習中。
其中使用的目標函式表示式為
minw12
∑kj=
1||y
j−aj
wj||
2+ρ|
|w||
2,1(1-1)
其中wj
∈rn×
1 相當於普通線性回歸裡面的權重，w=
[w1,
w2,.
..,w
k]n×
k是多任
務學習下
的權重矩
陣 ,||
w||2
,1=∑
ni=1
||wi
||，而wi
=[wi
,1,w
i,2,
...,
wi,k
] 。這裡相當於對引數矩陣
w 進行了一次按行稀疏化，也就是按行進行特徵選擇。
二、多工學習之任務間正則化約束
考慮到不同任務間的資料表示的是同乙個狀態，inter-modality relationship constrained multi-modality multi-task feature selection for alzheimer』s disease and mild cognitive impairment identification這篇文章提出了對任務間的特徵進行流形相似度約束，即利用當前該任務的線性回歸權重wj
對該任務下的特徵進行對映，要求對於同乙個樣本不同任務下對映後的點的距離要相近。即 d=
∑ni=
1∑mj
=1∑m
k=1,
k≠j|
|xji
wj−x
kiwk
||2f
||xj
i−xk
i||2
f(2-1)
再加上多工學習的約束條件，這篇文章的總的約束目標函式就是
minw∑m
j=1|
|xjw
j−yj
||2f
+λ1|
|w||
2,1+
λ2d(2-2)
其中n 表示樣本個數，
m表示任務個數，其它表示方式雖有不同但類似不再詳述。wj
，將這個任務下的特徵進行對映，要求對於同乙個任務來說，對映後這個任務下類別相同的點對映後應該離得盡量近。所以有如下的正則化約束因子，
minw∑m
m−1∑
ni,j
smij
||f(
xmi)
−f(x
mj)|
|22(3-1)
並且公式(3-1)等價於
minw2∑
mm=1
(xmw
m)tl
m(xm
wm)(3-2)
其中如果xm
i 和xm
j 同一類的話sm
ij=1
否則sm
ij=0
.對於公式(3-1)化簡得到的公式(3-2)主要說說這個lm
，容易發現 lm
=dm−
sm(3-3)
其中dm
是乙個對角矩陣，dm
ii=∑
nj=1
smij
。 這樣在結合多工學習的經典公式(1-1)就得到這篇文章裡面的目標約公式了
minw12
∑mm=
1||υ
−xmw
m||2
2+β|
|w||
2,1+
γ∑mm
=1(x
mwm)
tlm(
xmwm
)(3-4)
這篇文章在到這兒以後並沒有結束，而是基於公式(3-3)的幾何意義，將其擴充套件到了半正定的情況。其中，修改後的 sm
ij=e
xp(−
dist
(xmi
,xmj
)/t)
(3-5)
對角矩陣變為了有標籤的為1，無標籤的為0.
四、多工學習的分類器—多核學習
對於多工資料，可以利用svm對不同的任務分別建立核函式然後進行分類，這個就不再說了，具體可以參考我的svm相關部落格，也可以參考最後一篇參考**。
參考**：
1. multi-task feature learning via efficient l2, 1-norm minimization
2. inter-modality relationship constrained multi-modality multi-task feature selection for alzheimer』s disease and mild cognitive impairment identification
3. manifold regularized multitask feature learning for multimodality disease classification
4. ensemble sparse classification of alzheimer』s disease
多工學習
最近一段時間multitask網路比較流行，比如做人臉檢測的時候，乙個網路完成 人臉和非人臉 二分類任務的同時也要進行boudingbox回歸或者人臉關鍵點回歸。以人臉檢測mtcnn為例，乙個網路包含三個任務。訓練的時候，乙個batch中的，一部分用於二分類 一部分用於boundingbox 回歸，...
多工學習
以人臉特徵點定位中的tcdcn模型 1 為例子，該模型思想 通過一些多樣的精細的任務，來優化提公升特徵點定位精度。就是在人臉特徵點檢測的時候，同時進行多個任務的學習，這些子任務包括 是否帶眼鏡，是否微笑和臉部的朝向等分類任務。使用這些輔助的屬性不僅可以起到一次性獲取感興趣的屬性，更重要的是子任務更好...
多工學習
什麼叫 多工 呢？簡單地說，就是作業系統可以同時執行多個任務。打個比方，你一邊在用瀏覽器上網，一邊在聽 一邊在用word趕作業，這就是多工，至少同時有3個任務正在執行。還有很多任務悄悄地在後台同時執行著，只是桌面上沒有顯示而已。現在，多核cpu已經非常普及了，但是，即使過去的單核cpu，也可以執行多...