機器學習前沿演算法介紹

2021-10-06 19:21:55 字數 2762 閱讀 3515

機器學習演算法回顧

機器學習的本質就是尋找乙個函式,它根據某種統計意義來**現實中已發生或即將發生的現象,這個函式可以相當複雜,它也許具有上千萬個引數,以至於根本沒有人能夠把這個函式的數學表示式給手寫出來,但幸運的是,機器可以。

給機器指定明確的任務

當然機器是很笨的,你要給機器指派任務,首先要做的就是明確自己要找什麼樣的函式,它要實現什麼樣的功能,它的輸入是什麼,它的輸出是什麼,怎樣是評價機器做的好壞。傳統意義上的機器學習大致分為以下三類:

生成(generation)——讓機器去創造、創生(powerful)

告訴機器訓練的方式

告訴機器評價的標準

當機器知道要找什麼樣的函式之後,這個函式實際上就是乙個含有很多未知引數的模型,你要決定怎麼去算出這個模型的引數值。於是你就告訴機器自己的評價標準,也就是所謂的損失函式,如果機器做的不好,那就告訴它現在的引數不理想,要換一組引數接著嘗試。我們平常所說的訓練模型,實際上就是這樣乙個不斷試錯的過程,讓機器在失敗中成長。

小結一下

第二步,確定function尋找的方法

第三步,不斷試錯,找到最好的function

前沿研究和演算法介紹

explainable ai

ai其實是乙個黑盒子,我們只知道丟給它什麼樣的輸入,它會給我們什麼樣的輸出。但機器為什麼能做的這麼好?它是像我們一樣有條有理地分析還是全靠運氣猜?舉例來說,在對貓狗的影象識別例子裡,可解釋的ai(explained ai)要做的就是讓機器告訴我們為什麼它覺得這張裡的東西是貓或狗。 (use cnn)

現在的影象識別系統已經相當的完善,甚至可以在有諸多雜訊的情況下也能成功識別,而對抗攻擊(adversarial attack)要做的事情是專門針對機器設計雜訊,刻意製造出那些對人眼影響不大,卻能夠對機器進行全面干擾使之崩潰的雜訊影象。想象一下,基於神經網路的自動駕駛,把攻擊者貼在牆上的一張紙識別成了真正的道路,會發生什麼結果? (use cnn)

你可能有乙個識別準確率非常高的模型,但是它龐大到無法放到手機、平板裡面給人使用,而網路壓縮(network compression)要做的事情是壓縮這個龐大無比的神經網路,使之能夠成功部署在手機甚至更小的平台上。(use cnn)

anomaly detection

如果你訓練了乙個識別動物的系統,但是使用者放了一張動漫人物的進來,該系統還是會把這張識別成某種動物,因此異常檢測(anomaly detection)要做的事情是,讓機器知道自己無法識別這張,也就是能不能讓機器知道「我不知道」,這有點像乙個哲學問題。

transfer learning (即domain adversarial learning)

在用於學習的過程中,訓練資料和測試資料的分布往往是相同的,因此能夠得到比較高的準確率,比如黑白的手寫數字識別。但是在實際場景的應用中,使用者給你的測試資料往往和你用來訓練的資料很不一樣,比如一張彩色背景分布的數字圖,此時原先的系統的準確率就會大幅下降,而遷移學習(transfer learning)要做的事情是,在訓練資料和測試資料很不一樣的情況下,讓機器也能學到東西。

元學習(meta learning)的思想就是讓機器學習「該如何學習」,也就是learn to learn,傳統的機器學習方法是人所設計的,是我們賦予了機器學習的能力;而元學習並不是讓機器直接從我們指定好的函式範圍中去學習,而是讓它自己有能力自己去設計乙個函式的架構,然後再從這個範圍內學習到最好的模型。我們期待用這種方式讓機器自己尋找到那個最合適的模型,從而得到比人類指定模型的方法更為有效的結果。

原因:人為指定的模型實際上效率並不高,我們常常見到機器在某些任務上的表現比較好,但要花費大量甚至遠超於人類所需的時間和資料才使機器能達到和人類一樣的能力。相當於我們指定的模型直接定義了這是乙個天資不佳的機器,只能通過讓它勤奮不懈的學習才能得到好的結果,由於人類的智慧型有限,無法設計高效的模型才導致機器學習效率低下。因此元學習就期望讓機器自己去定義自己的天賦,從而具備更高效的學習能力。

一般的機器學習都是針對某乙個任務設計的模型,因此它往往只能處理同乙個型別的任務(偏科嚴重)。而終身學習(life-long learning)想要讓機器能夠具備終身不停地學習能力,讓它不僅能夠學會處理任務1,還能接著學會處理任務2、3…從而成為乙個「全能型人才」。

機器學習前沿熱點 Deep Learning(二)

深度學習是 機器學習 研究中的乙個新的領域,其動機在於建立 模擬人腦進行分析學習的神經網路,它模仿人腦的機制來解釋資料,例如影象,聲音和文字。深度學習是 無監督學習 的一種。深度學習的概念源於 人工神經網路 的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層...

線性回歸機器學習演算法介紹

在解釋什麼是線性回歸之前,我們先舉個例子!假設我們已知m個樣本,樣本裡有n個特徵x,和對應的輸出y。表示式如下 現在出現了乙個新的資料集 需要 它對應的輸出y是多少。首先我們需要知道的是,如果輸出y是連續的,則是回歸問題,否則是分類問題。如果是分類問題,那我們應該對前面的m個樣本擬合,建立類似以下形...

深度增強學習前沿演算法思想

2016年 alphago 計算機圍棋系 勝頂尖職業棋手李世石,引起了全世界的廣泛關注,人工智慧進一步被 推到了風口浪尖。而其中的深度增強學習演算法是 alphago 的核心,也是通用人工智慧的實現關鍵。本文將 帶領大家了解深度增強學習的前沿演算法思想,領略人工智慧的核心奧秘。前言深度增強學習與通用...