由於深度學習具有通過逐層抽象來形成良好特徵的能力，因此可利用該方法來形成不同型別資料的聯合特徵表示。具體方法有深度典範相關分析(deep caconical correlation analysis，deep cca)、多模態深度學習以及多模態玻爾茲曼機等。這些方法的基本思路是通過不同的深層模型(如cnn或autoencoder等)對不同型別資料進行逐層學習，將學習得到的結果進行合併，以得到多模態聯合特徵表示，最後要求多模態聯合特徵能有效重建原始不同型別資料或表達相關語義概念。為了得到更好的深層模型，一般在深層模型的最頂端設計反映不同型別資料相互耦合的損失函式(如要求不同型別資料學習得到的特徵相似等)來對模型進行優化反饋。
將深度學習應用於語義概念識別和理解時，有兩種方法：(1)將深度學習得到的特徵表示直接輸入給判別分類模型(如支援向量機等)；(2)通過softmax函式或回歸函式對輸人資料、隱含層和輸出層(語義標籤)之間的概率分布進行建模，然後基於互資訊熵最小或間隔距離最大等準則對模型進行優化。
有人的理論研究結果表明：在機器學習中，如果對模型本身的假設產生偏差，則會影響學習結果。因此，如何合理引入資料本身所具有的先驗知識和結構線索，來構造和微調深層模型使之更好地處理多模態資料，是乙個亟待解決的問題。因此，一些研究開始在生成式深層模型或區別式深層模型中引入資料本身所具有的先驗結構，以提公升特徵學習的泛化能力和區別能力。有人在卷積神經網路輸出端引入層次化概念樹來促進關聯語義所具有的共享特徵的學習，有人通過非參貝葉斯假設來提高判別性語義特徵學習的靈活度。為了進一步學習影象視覺物件和文字實體之間存在的組合語義，有人基於排序優化框架提出了多模態深度組合語義學習方法，不僅保持了多模態資料之間的區域性相關性，也保持了其全域性關聯性。
深度學習用於計算機視覺
密集連線層 精度97.8 卷積神經網路 99.3 兩者的區別在於 dense層從特徵空間學到的是全域性模式，而卷積層學到時是區域性模式 1 卷積神經網路學到的模式具有平移不變性 視覺世界根本上來說就具有平移不變性 即在影象右下角學到某個模式後可以在任何地方識別這個模式。對於密集連線網路來說如果出現在...
38 深度學習 用於處理序列的RNN
什麼是rnn recurrent neural network，迴圈神經網路 還有乙個東西叫recnn，recursive neural network，遞迴神經網路，感興趣的童鞋自行搜尋 輸入長什麼樣？迴圈是指，網路只有一層 全連線層 且其隱態h t 取決於 long short term mem...
第五章 深度學習用於計算機視覺
下面展示一些內聯 片。1.卷積神經網路cnn 手寫數字分類 mnist資料集 1.網路架構 例項化乙個小型的卷積神經網路 from keras import models from keras import layers network models.sequential 因為需要將同乙個模型多次例...