gcForest演算法原理及Python實現

2021-08-29 18:08:57 字數 611 閱讀 7275

1.背景介紹

從目前來看深度學習大多建立在多層的神經網路基礎上,也即一些引數化的多層可微的非線性模組,這樣就可以通過後向傳播去訓練,zhi-hua zhou和ji feng在deep forest**中基於不可微的模組建立深度模組,這就是gcforest。

傳統的深度學習有一定的弊端:

●  超引數個數較多,訓練前需要大量初始化,主要靠經驗調整,使得dnn更像一門藝術而非科學;

●  dnn的訓練要求大量的訓練資料,資料的標註成本太高;

●  dnn是乙個黑盒子,訓練的結果很難去解釋描述,並且學習行為很難用理論去分析解釋;

●  dnn在訓練之前就得確定具體的網路結構,模型的複雜度也是提前設定好的,雖然有一些dropout等的技術。

但是有一點是我們相信的,在處理更複雜的學習問題時,演算法的學習模組應該要變的更深,現在的深層網路結構依舊依賴於神經網路(我們這裡把像cnn,rnn的基本結構單元也歸結為神經網路單元), 周志華團隊考慮深度學習的結構可不可以用其他不可微的模組組成:

can deep learning be realized with non-differentiable modules?

這個問題會使我們想到一些其他問題:

執行緒池原理及py實現

目前的大多數網路伺服器,包括web伺服器 email伺服器以及資料庫伺服器等都具有乙個共同點,就是單位時間內必須處理數目巨大的 連線請求,但處理時間卻相對較短。傳統多執行緒方案中我們採用的伺服器模型則是一旦接受到請求之後,即建立乙個新的執行緒,由該執行緒執行任務。任務執行完畢後,線 程退出,這就是是...

PageRank演算法原理及實現

pagerank演算法原理介紹 pagerank演算法是google的網頁排序演算法,在 the top ten algorithms in data mining 一書中第6章有介紹。大致原理是使用者搜尋出的多個網頁需要按照一定的重要程度 即後面講的權重 排序,每個網頁的權重由所有鏈結到它的其他網...

RSA演算法原理及應用示例

rsa演算法是一種基於公鑰和私鑰的加密演算法,是由ronald rivest,adi shamir和len adleman三人在diffie helman指數金鑰交換演算法的 基礎上於1977年設計出來的,rivest設計的加密系統利用了數學領域的乙個事實,那就是雖然把兩個大素數相乘生成乙個合數是件...