深度學習在早期一度被認為是一種無監督的特徵學習（ unsupervised feature leaming），模仿了人腦的對特徵逐層抽象提取的過程。這其中有兩點很重要：
一是無監督學習，即我們不需要標註資料就可以對資料進行一定程度的學習，這種學習是對資料內容的組織形式的學習，提取的是頻繁出現的特徵；
二是逐層抽象，特徵是需要不斷抽象的，就像人總是從簡單基礎的概念開始學習，再到複雜的概念。學生們要從加減乘除開始學起，再到簡單函式，然後到微積分，深度學習也是一樣，它從簡單的微觀的特徵開始，不斷抽象特徵的層級，逐漸往複雜的巨集觀特徵轉變。
將一張的原始畫素慢慢抽象，從畫素組成點、線，再將點、線組合成小零件，再將小零件組成車輪、車窗、車身等高階特別，這便是深度學習在訓練過程中所做的特徵學習。
先對資料進行無監督的學習，提取到一些有用的特徵，將神經網路權重初始化到乙個較好的分布，然後再使用有標註的資料進行監督訓練，即對權重進行 fine-tune。
現在，無監督式預訓練的使用場景比以前少了許多，訓練全連線的 mlp或cnn、rnn時，我們都不需要先使用無監督訓練提取特徵。但是無監督學習乃至autoencode依然是非常有用的。現實生活中，大部分的資料都是沒有標註資訊的，但人腦就很擅長處理這些資料，我們會提取其中的高階抽象特徵，並使用在其他地方。
自編碼器作為深度學習在無監督領域的嘗試是非常成功的，同時無監督學習也將是深度學習接下來的乙個重要發展方向。
自編碼與變分自編碼
神經網路的本質是資訊壓縮特徵提取，神經網路公式h w x 做內積，所以神經網路是個相關性判斷 研究ai頂級公司研究損失。無監督學習是在沒有資料標籤的情況下，尋找資料特徵。但是無監督學習的標籤是自身，自監督學習，是無監督學習的一種特殊情況，他是將資料切分n塊，然後用各個塊來 其他塊。弱監督學習，是將無...
AI數學 變分自編碼器 VAE
auto encoding variational bayes 你要是能在一周內，把上面這篇文章的數學原理搞懂，那你就是骨骼清奇了。看 可以知道，vae 變分自編碼器 只是aevb 自編碼變分貝葉斯 的乙個應用而已。如果你只是想懂vae的話，還是比較簡單滴。對於aevb更深層的原理，在這裡不去討論，...
自編碼演算法
自編碼神經網路是一種無監督學習演算法，它使用了反向傳播演算法，並讓目標值等於輸入值，它是一種盡可能復現輸入訊號的神經網路。為了實現這種復現，自動編碼器就必須捕捉可以代表輸入資料的最重要的因素，就像pca那樣，找到可以代表原資訊的主要成分。一 autoencoder演算法的思路 1 給定無標籤資料，用...