在大多數的神經網路教科書中，神經網路一般都會使用 y = wx+b 或者 y = xw+b 的形式。但是在 tensorflow 或者 theano 中，神經網路的實現都是採用了 y = xw+b 的形式。這是為什麼呢？我花了很多的時間去查詢資料，最後發現一點，可能是 y = xw+b 計算導數比 y = wx+b 容易。
從理論上講，xw+b 和 wx+b 在神經網路中是等價的（其實就是乙個矩陣的轉置）。然而，當我們計算兩者的導數的時候卻差別很大。我們通過具體的數學推導來感受一下吧。
比如：y = xw
比如：y = wx
原文matrix cookbook
深度神經網路
關於卷積神經網路cnn，網路和文獻中有非常多的資料，我在工作 研究中也用了好一段時間各種常見的model了，就想著簡單整理一下，以備查閱之需。如果讀者是初接觸cnn，建議可以先看一看 deep learning 深度學習 學習筆記整理系列 中關於cnn的介紹 1 是介紹我們常說的lenet為例，相信...
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
如何除錯神經網路（深度神經網路）？
神經網路的除錯基本上難於絕大多數的程式，因為大部分的神經網路的錯誤不會以型別錯誤或執行時錯誤顯現，他們只是使得網路難以收斂。如果你是乙個新人，這可能會讓你非常沮喪。乙個有經驗的網路訓練者可以系統的克服這些困難，儘管存在著大量似是而非的錯誤資訊，比如 你的網路訓練的不太好。對缺少經驗的人來說，這個資訊...