我來介紹一下 反向傳播學習演算法 和 梯度下降法

2021-04-14 08:32:55 字數 586 閱讀 6442

梯度下降法,就是利用負梯度方向來決定每次迭代的新的搜尋方向,使得每次迭代

能使待優化的目標函式逐步減小。梯度下降法是2範數下的最速下降法。

最速下降法的一種簡單形式是:x(k+1)=x(k)-a*g(k),其中a稱為學習速率,可以是

較小的常數。g(k)是x(k)的梯度。

直觀的說,就是在乙個有中心的等值線中,從初始值開始,每次沿著垂直等值線方

向移動乙個小的距離,最終收斂在中心。 

對於某乙個效能指數,我們能夠運用梯度下降法,使這個指數降到最小。若該

指數為均方誤差,我們便得到了最小均方誤差(lms)演算法。

bp演算法也是要使效能指數-均方誤差達到最小,它與lms演算法的差別在於對於權值導數

(即梯度)的計算方式上。    

lms是運用在單層線性網路中的,誤差是網路權值的顯示線性函式,權值導數可直接

求得。但其只能解決線性可分問題。    

bp演算法用於有隱藏層的多層網路中,權值和誤差的關係比較複雜,需要用到微積分鏈

法則。該演算法可以解決線性不可分問題。

如何使用鏈法則,是個比較複雜的問題,可以參考《神經網路設計》一書。

我也來學習一下sudo

關於sudo 的設定 step1 vi profile add usr local bin in path step2 vi etc sudoers add shenghp in below user alias u sysadmin aix shenghp runas alias u functi...

介紹一下我的職業

在文章中提到我是自由職業者,這幾天很多朋友給提供了軟體外包的專案,在這裡我首先表示感謝,但要說聲抱歉了,我不接軟體外包專案 下面給對我好奇的朋友簡單介紹乙個我自己,我大學時的專業是經濟法,程式設計是我從小就喜歡的,1989年,上五年級時,我就開始用basic寫程式玩 那是乙個很多人還無法區分計算機與...

也來學習一下曾國藩

提起曾國藩,不知大家是否有這麼乙個印象,風雨飄搖,乙個略顯愚鈍的老者,卻扛起了挽救晚清命運的大旗 提起他的生平,經常描述的都是最後一次出山前是乙個人,出山後完全變成了另乙個人。這一點我不是很認同,雖然後面初三後他有了乙個天翻地覆的變化,但是所有的果都是之前種下的因,這肯定也是一步乙個腳印走過來的,只...