@[toc]第4章 前饋神經網路
最簡單的神經網路稱作感知器。它是乙個簡單的線性模型：
ww是權重矩陣，b
bb是偏置項。為了能超越線性函式，我們引進乙個非線性的隱藏層，這樣就能得到帶有單一隱層的多層感知器（mlp1）。
gg是作用於每個元素的非線性方程（也稱作啟用函式或非線性），g
gg在網路表示複雜函式的能力中，起了至關重要作用。沒有g
gg的非線性，神經網路只能表示輸入的線性變換。例如：
層，或者稱完全連線的或仿射的。具有多個隱層的網路稱深層網路。
與線性模型類似，神經網路的輸出是乙個dou
td_dout
維向量。dou
td_dout
=1 時，網路的輸出是乙個標量 。這樣的網路在關注輸出值的情況下可以用於回歸（或打分）問題；在關注輸出值的符號時，可以用於二分類問題。滿足dou
td_dout
>k的網路可以用於k分類問題，這需要將每個維度與乙個類別相關聯，然後尋找具有最大值的維度。如果輸出向量是正的並且各項和為1，則輸出可以被解釋為在各類別上的分布。
引數與輸入一起決定了網路的輸出，訓練演算法負責
設定引數的值，使得網路得到正確的**結果。
給定任務選取非線性函式是乙個經驗問題
sigmoid : p(x
)=1/
(1+e
−x)p(x)=1/(1+e^)
p(x)=1
/(1+
e−x)
乙個s型的函式，它將每乙個值x
xx變換到區間[0,1]中。
tanh(雙曲正切): tan
h(x)
=(e2
x−1)
/(e2
x+1)
tanh(x)=(e^-1)/(e^+1)
tanh(x
)=(e
2x−1
)/(e
2x+1
)乙個s型函式，它將每乙個值x
xx變換到區間[0,1]中。
hard tanh啟用函式是tanh函式的近似
hardtanh(x)=-1,x
hardtanh(x)=1,x>1;
hardtanh(x)=x,x=other;
修正線性單元relu
基於深度學習的自然語言處理
cbow表示可以通過求單詞表示向量和或者通過將乙個單詞詞袋向量乘 以乙個每一行對應於乙個稠密單詞表示的矩陣 這樣的矩陣也叫作嵌入矩陣 embedd i ng matricy 來得到。網路中每行神經元的值可以看作是乙個向量 全連線層可以看作是從四維到六維 的線性變換。全連線層實現了乙個向量與矩陣的乘法...
機器學習 深度學習 自然語言處理
文字挖掘 文字分類 機器翻譯 客服系統 複雜對話系統 手工特徵耗時耗力,還不易拓展 自動特徵學習快,方便擴充套件 深度學習提供了一種通用的學習框架,可以用來表示世界,視覺和語言學資訊 深度學習可以無監督學習,也可以監督學習 我 今天 下午 打籃球 p s p w1,w2,w3,w4,w5,wn p ...
深度學習的自然語言處理 課程筆記 1
大牛的讀書筆記 2017年版的課件 第一節課基本上看大牛的讀書筆記對照slides就可以了，都是入門級的介紹，不需要花太多的時間。1 什麼是自然語言處理？自然語言處理是電腦科學 人工智慧以及語言學的交叉領域。它的目標是用計算機來處理自然語言，以完成一些任務，例如購物 智慧型問答等。2 什麼是深度學習...