1.損失函式---------經典損失函式--------交叉熵：交叉熵刻畫了兩個概率分布之間的距離，它是分類問題中使用比較廣的一種損失函式。通過q來表示p的交叉熵為：
softmax將神經網路前向傳播得到的結果變成概率分布，原始神經網路的輸出被用作置信度來生成新的輸出，而新的輸出滿足概率分布的所有要求。
交叉熵函式不是對稱的，h（p，q）！=h（q，p），他刻畫的是通過概率分布q來表達概率分布p的困難程度。因為正確答案是希望得到的結果，所以當交叉熵作為神經網路的損失函式是，p代表的是正確答案，q代表的是**值。交叉熵刻畫的是兩個概率分布的距離，也就是說交叉熵值越小，兩個概率分布越接近。
tensorflow實現交叉熵**：
其中y_代表正確結果，y代表**結果。tf.clip_by_value()函式的意思是，小於1e-10的數全換成1e-10，大於1的數全換成1。tensorflow中*的意思是對應相同位置的數項乘，不是矩陣的乘法。
因為交叉熵一般會與softmax回歸一起使用，所以tensorflow對這兩個功能進行了統一封裝：
通過這個命令就可以得到使用了softmax回歸之後的交叉熵。
在只有乙個正確答案的分類問題中，tensorflow提供了tf.nn.sparse_softmax_cross_entropy_with_logits函式來進一步加速計算過程。
2.損失函式---------經典損失函式--------均方誤差（mse，mean squared error):
其中yi為乙個batch中第i個資料的正確答案，而yi『為神經網路給出的**值。tensorflow實現**：
3.損失函式---------自定義函式-----
tf.greater(a,b) 返回a>b的結果，布林值
tf.select(c,a,b) c為真時（true）,返回a值，為假（false)時返回b值。
這兩個函式都是在元素級別進行
TensorFlow 深度學習筆記
google 深度學習筆記 經常總結是個好習慣，筆記目錄奉上。歡迎star，有問題可以到issue區討論 官方教程位址 最近tensorflow團隊出了乙個model專案，和這個課程無關，但是可以參考 框架 tensorflow 谷歌出品的基於python的深度學習工具集 工具 ipython,py...
TensorFlow深度學習框架
tensorflow支援python和c 兩種程式語言，再複雜的多層神經網路模型都可以用python來實現，如果業務使用其他程式設計也不用擔心，使用跨語言的grpc或者http服務也可以訪問使用tensorflow訓練好的智慧型模型。tensorflow 是乙個採用資料流圖 data flow gr...
深度學習 初識TensorFlow
深度學習使用場景 影象理解 語音識別 自然語言處理 機器自主 無人駕駛 深度學習，如深度神經網路 卷積神經網路和遞迴神經網路已被應用計算機視覺 語音識別 自然語言處理 音訊識別與生物資訊學等領域並取得了很好的效果。深度學習在人工智慧領域的地位 深度學習框架 google brain計畫產物 應用於a...