《生成對抗網路入門指南》學習筆記(一)

2021-09-21 02:05:49 字數 1433 閱讀 1273

人工智慧元年:2017-alphago 擊敗了柯潔。

圖靈測試:如果一台機器能夠與人類展開對話(通過電傳裝置)而不能被辨別出其機器身份,那麼稱這台機器具有智慧型。

打造人工大腦,需要回答的三個問題:

1)大腦如何運轉——正在探索

2)大腦的執行機制可否,拆分成差異性極低的可衡量單位——神經學家解答是,神經元

3)是否有,其它人工產物可等價體現,這一單元粒度的價值或功能——資訊學家解答是,可輸出0和1的元件(繼電器或電晶體)

ai誕生標誌:2023年dartmouth會議。

兩起兩落:

一起:出現很多ai程式和新的研究方向(推理搜尋演算法研究、自然語言處理)

一落:僅僅具有邏輯推理能力還不能夠實現ai,且當時落後的計算機運算能力和資料收集能力無法支撐起ai

**成兩派:簡約派(認為ai是解題機器)、蕪雜派(堅持ai具有非邏輯性聯想能力)

二起:簡約派研究出,專家系統(xcon支援自動選擇元件)。bp演算法的提出,解決了多層神經網路學習過程中的問題。也使得神經網路作為主流演算法,應用於模式識別、**和智慧型控制等機器學習領域。

二落:蘋果和ibm在pc市場的發力,使得lisp電腦破滅,導致ai的硬體基礎也破滅。

摩爾定律:當**不變時,積體電路上可容納的元器件數目約每隔18~24個月便會增加一倍,效能也將提公升一倍。

四場人機大戰:

1、97年,ibm的深藍,挑戰博弈樹複雜度為10的123次方的西洋棋。

2、06年,浪潮天梭挑戰中國象棋。

3、11年,沃森在智力問答節目《危險邊緣》中戰勝兩位人類冠軍,沃森展現出驚人自然語言處理能力。

4、16年,aphago

機器學習:使用演算法來解析海量資料,從中找出規律,並完成學習,用學習出來的思維模型對真實事件做出決策和**。

機器學習的幾種學習方式:

1、監督式學習,訓練集由輸入資料和預期輸出的標籤組成。

回歸分析:函式輸出為連續的值。

分類:**內容為離散標籤。

2、無監督式學習,適用於聚類,把相似的東西聚在一起,而無所謂這一類是什麼。

3、強化學習,強調如何基於環境而行動,以取得最大化的預期利益。

強化學習的反饋僅僅檢查模型的對錯,會接受到類似的獎勵或懲罰的刺激後,逐步調整。專注於規劃,在探索未知領域和遵從現有知識之間找到乙個合理的平衡點。

學習率:資訊在人腦神經細胞的突觸上傳遞時,強度可變化。

bp演算法雖解決了兩層網路的所需要的複雜計算量問題,但一次訓練太耗時,且區域性最優解問題使得優化網路較困難。

hinton提出了深度學習,並增加了兩個優化技術——預訓練和微調。(讓神經網路權值找到乙個接近最優解的值)。

《生成對抗網路入門指南》學習筆記(五)

gan的優化問題 訓練gan最大的問題 訓練的不穩定性。理論上,應優先訓練好判別器,但實際上,判別器訓練地越好,生成器反而越難優化。真實資料的分布,通常是乙個低維度流形。所謂流形,是指資料雖然分布在高維度空間裡,但實際上資料並不具備高維度特性,而是存在於乙個嵌入在高維度的低維度空間裡。生成器要做的事...

GAN學習筆記 生成對抗網路

看了ian大神的 學習一下gan。一 基本介紹 生成對抗網路由兩部分組成 generatative model 和 discriminative model,以下分別簡稱為g 和 d。在gan中,訓練集是無標籤資料集data,g接受資料z,產生g z 而d判定g產生的資料是來自於真實資料data還是...

半監督生成對抗網路 生成對抗網路

一 生成對抗網路相關概念 一 生成模型在概率統計理論中,生成模型是指能夠在給定某些隱含引數的條件下,隨機生成觀測資料的模型,它給觀測值和標註資料序列指定乙個聯合概率分布。在機器學習中,生成模型可以用來直接對資料建模,也可以用來建立變數間的條件概率分布。通常可以分為兩個型別,一種是可以完全表示出資料確...