在Win10上搭建fastai課程環境

2022-05-10 01:20:25 字數 1854 閱讀 3253

如果你正在學習深度學習,也許你已經知道 fastai 這個詞。這是乙個深度學習社群,由jeremy howard發起,此公是麥肯錫諮詢公司的第一位資料科學家,同時也是kaggle的聯合發起人。同時,fastai也是乙個基於pytorch的封裝包,有點兒類似深度學習領域的sklearn,提供了很多神經網路的封裝,並且包含了一套非常不錯的預設超引數。

如果你第一次聽說fastai,非常推薦你去他們的官網看看,把環境搭建好,然後學起來吧。這裡先給出**,但是還是希望你先看完下面的內容再過去。

那麼,為什麼這麼多人學習fastai的課程呢?根據我自己的學習體驗,大致有以下這麼幾點:

這個課程採用自頂向下的方法。上手直接帶你調包,先搭建出乙個非常優秀的分類器,讓你直接體會到resnet是怎麼使用的。然後在part 2課程中才會談到一些黑盒內的東西。

這個課程有非常活躍的社群,你可以在裡面盡情提問,閱讀別人發起的問答。總之,你遇到的問題一般都有同道中人幫你解答,有時候jeremy自己也會回覆。

這套系列課程有深度學習、機器學習、nlp、線性代數。後續肯定還會有課程上線。所有課程都免費。

當然,這套課程也不是沒有缺點的,根據我自己的學習體驗,大致也有以下這麼幾點:

混亂。這是我第一次訪問fastai官網的感受。各個課程都有多個版本,而且社群論壇裡的帖子驚人的多,給人的感覺就是混亂。

環境搭建不容易,經常出現:你按照指引,吭哧吭哧弄好環境,開啟jupyter notebook執行匯入fastai這個包作驗證時,彈出找不到這個包。非常令人沮喪,導致後面的課程無法進行。

fastai這個框架封裝的太狠了,基本沒給使用者留什麼自主性。

但是,在學習一段時間後,我針對上面三個缺點逐一答對:

linux上搭建fastai相對要容易一些,但是linux自有其他不合適使用的問題。比如筆者這樣,自己組裝了乙個主機,買的rtx 2070 super顯示卡的使用者,肯定是不會去使用雲伺服器(太貴啦),但是又不可能直接安裝linux系統,那樣日常沒法使用。在windows上安裝fastai則成為「剛需」,這篇隨筆要記錄的就是這個事情。

因為是自頂向下的學習路線,決定了這套課程不會講得太深入,用的工具也必須要開箱即用的。筆者自己也曾想自底向上去學習機器學習、深度學習。但是筆者不是科班方面的博士,只是乙個資料工程師,學習的目的是快速掌握資料探勘中用到的技術。如果一直在打基礎,結局只能是學而不用則惘。所以,學習完fastai的所有課程之後,才是我們自己真正開始研究底層原理的正確時機。

介紹性的談話就到這裡打住,更多的資訊請大家去fastai的論壇裡面盡情閱讀,位址是

下面開始介紹如何在 win10 系統上搭建環境,win7系統應該相差無幾。

獲取超級管理員許可權(具體操作請自行谷歌)

安裝 anaconda(具體操作請自行谷歌)

安裝 cmder(具體操作請自行谷歌)

開啟cmder,切換到你想放置fastai的目錄,執行下列命令:

將它解壓到 courses\dl1\目錄下

如果在跑模型過程中遇到 cudnn_status_execution_failed 問題,檢查下是否cuda版本和顯示卡不適配。例如筆者的顯示卡是rtx 2070,使用的cuda版本必須是10.0以上。同時注意,cudnn101 需要python版本在3.7以上,而python3.7是不包含ssl模組的,這就會導致你圍繞python3.7搭建好pytorch環境後,嘗試開啟jupyter notebook時會報錯: import _ssl dll error。需要手動安裝ssl包,命令是conda install openssl,成功安裝後關閉命令列工具後重新開啟,就可以正常使用jupyter notebook了。

如果跑模型過程中提示顯示卡記憶體不夠分配了,可以把每個batch的規模調小一點,用時間換取空間。

祝大家學習順利,今天是2023年1月1日,新的10年開始了,祝無怨無悔。

在win10上搭建Linux子系統

起初,構想的是分系統,剛好看到一篇推送,教程在win10上搭建linux子系統。按照教程,先在window功能裡open該功能 如圖,聽說會彈出重啟系統的提示,而我是手動的 教程第二步是,以管理員的許可權開啟powershell,執行一段命令。這裡無法執行,但沒有影響到最終結果 總之,從3 00pm...

在win10上安裝bazel

環境 win10 64位 安裝之前,需要安裝 因為用高版本會在tensorflow報錯,這裡就用2015版。第二步 配置環境變數,在電腦 高階 環境變數中的path中新增 你的根目錄 msys64 usr bin 和 你的根目錄 msys64 usr bin bash.exe 第三步 開啟cmd,輸...

在win10上安裝pyspider

在cmd終端直接pip install pyspider 出現如下錯誤 需要安裝兩個工具包 在這個 可以找到工具包,找到自己電腦對用對應的版本 修改關鍵字後導致源程式檔案修改,但是從其他庫呼叫的包名稱沒有改變,就需要找到對應的檔案修改名稱。例如只是我遇到的其中乙個錯誤,就需要修改。當修改完關鍵字後還...