我說的DF21不是東風快遞,而是最新的深度森林網路

2021-10-18 18:58:34 字數 1542 閱讀 2769

深度森林演算法,就衝這個名稱df21,這個演算法必須火啊,因為我馬上想到的是這個呀!

近十幾年來,深層神經網路通過構建分層或「深層」結構,有顯著進展。大部分被廣泛應用的深度神經網路都使用具有隨機梯度下降的反向傳播作為訓練過程中更新引數的主力。儘管老掉牙的反向傳播一直是訓練神經網路等可微分學習系統的最好方法。但其他方向探索使用非可微模組來構建多層或深度模型的可能性的需求一直被探索,且其在現實應用上也有很大的潛力。例如,基於樹的整合(例如隨機森林或梯度提公升決策樹(gbdt)仍然是多個領域中建模離散或**資料的主要方式,為此在這類資料上使用樹整合來獲得分層分布式表徵是個很有趣的研究方向。

在這樣的案例中,由於不能使用鏈式法則來傳播誤差,反向傳播不再可行。這引發了兩個基本的問題:首先,我們是否可以用非可微元件構建多層模型,從而中間層的輸出可以被當作分布式表徵?其次,如果是這樣,如何在沒有反向傳播的幫助下,聯合地訓練這種模型?本文的目的就在於提供這種嘗試。

早在2017 年,周志華和馮霽等人提出了深度森林框架,這是首次嘗試使用樹整合來構建多層模型的工作。具體來說,通過引入細粒度的掃瞄和級聯操作(cascading operation),該模型可以構建多層結構,該結構具備適應性模型複雜度,且能夠在多種型別的任務上取得有競爭力的效能。

2018 年,周志華等人又在研究《multi-layered gradient boosting decision trees》中探索了多層的決策樹。該工作力求利用兩個方面的優勢:樹整合的出色效能和分層分布式表徵的表達能力(主要在神經網路中進行探索)。具體來說,該研究提出了首個多層結構,每層使用梯度提公升決策樹作為構造塊,明確強調其表徵學習能力,訓練過程可以通過目標傳播的變體進行聯合優化。在不斷努力下,研究人員已經證明了深度森林模型可以在有監督和無監督的環境下進行訓練,人們可以使用決策樹來獲得分層和分布式表徵。

經過 lamda 徐軼軒等人的不懈努力,2021 年 2 月 1 日,新的深度森林軟體包 df21 在 github 與開源中國同時開源了。該軟體包嘗試解決了這一方向在上述實際應用過程中所遇到的關鍵問題,未來在各類在資料建模過程中,我們也可以便捷地使用深度森林了。

本專案中的 df21 是深度森林的 2021.2.1 實現版本。深度森林是基於決策樹的深度學習模型。使用樹模型學習技術(如隨機森林、gbdt 等)的應用都可以嘗試使用 df21。它具有以下優勢:

安裝和使用也超級簡單(附圖)

以上資料參考:《南大周志華團隊開源深度森林軟體包df21:訓練效率高、超引數少,普通裝置就能跑》

**:deep forest

報告:周志華:an exploration to non-nn deep models based on non-differentiable modules

你曾說我的未來不是夢丶

夢,是清晨灑在荷葉上的露珠,在裝飾了荷葉之後,瞬間蒸發。夢想呵 詩人的期待,永恆的追求,夢只不過是生活的嚮往,夢想卻是永恆的付出與信仰。題記 未來,是一片迷茫,誰也不曾想象過它的盡頭,它是乙個貪圖者,將 路人 付出的籌碼源源不斷地撿起,從未在意別人付出多少代價。小時候,我很天真的編織遐想的夢,不 那...

2 說的真好 拿到那張紙不是我想要的結果

130.2004年10月2日 拿到那張紙不是我想要的結果 以前我學c a的時候,很在乎那張紙,我987,學了20來天就考試了,那時候考的是607,沒看tk 其實看了1點,不超過20道,300多道題實在看不下去了 學完之後,就來在論壇混,裝高手,裝牛人,回答問題 本意是好的 後來轉行學unix去了,準...

每週一點小技術之不是我說的

首先說下,這個系列的博文基本上是針對一些新人或者說是業餘的但對安卓開發有一定興趣的人,所以會對使用說的比較細但對一些基本原理的方面說的比較籠統,只講個大概意思。這個安卓工程是在eclipse中建立的,所以需要您配置安卓的開發環境,其中分別為eclipse jdk android sdk adt,具體...