支援各硬體平台的機器學習模型 AWS發表新開源專案

2021-09-11 14:12:30 字數 914 閱讀 5719

aws發表新開源專案neo-ai,該專案源自於amazon sagemaker機器學習服務中的ml模型自動優化功能「amazon sagemaker neo」,以協助處理器業者、裝置製造商、深度學習開發人員打造可支援各種硬體平台的機器學習模型。

aws所提供的amazon sagemaker服務,能協助開發人員或資料科學家快速建立、訓練與部署機器學習模型,而amazon sagemaker neo則是sagemaker服務的一項功能,只要訓練一次就能以優化效能在雲端或其它硬體平台上運作。

aws解釋,平常要優化乙個機器學習模型以讓它適用於不同的硬體平台並不容易,開發人員必須針對每乙個硬體平台與軟體配置手動調整模型,對邊緣裝置而言則更具挑戰性,因為這類裝置不管是在運算能力或儲存空間上都有所限制,開發人員可能需要深入了解硬體,或者具備罕見的專業知識,就算兩者兼備,有鑑於好的工具並不容易取得,還必須經過大量測試才能達到良好效能。

而軟體上的差異更讓優化難上加難,假設裝置上的軟體與模型上的版本不同,模型與裝置將不相容,又再度限制了開發人員可進行優化的裝置。

aws宣稱neo-ai可減少調整機器學習模型以部署於不同平台的力氣,藉由自動優化tensorflow、mxnet、pytorch、onnx與xgboost等模型,在不喪失精確性的情況下,讓其執行速度達到原始模型的兩倍;此外,它還能將朕亨公益愛心模型轉換為高效通用格式,以解決軟體相容性問題。

neo-ai亦允許複雜的模型在資源有限的裝置上執行,能釋放自駕車、家庭安全或異常檢測等領域的創新能力,它目前支援來自英特爾、nvidia與arm的平台,並即將支援xilinx、cadence及qualcomm。

neo-ai的本質是個機器學習編譯程式,處理器製造商可將程式**整合到編譯程式上以改善模型效能,裝置製造商則能根據裝置的軟/硬體配置客製化neo-ai的執行環境,neo-ai專案將汲取不同**的創新,打造乙個通用的編譯程式與執行環境,以帶來各種模型的最佳效能。

機器學習模型支援缺失值的那些事兒

貝葉斯網路 神經網路模型 之前讀過一些別人的文章,對於有些模型可以支援缺失資料這件事有點印象,最近開始做乙個新的專案,缺失大量的資料,所以就想用這些支援缺失值的模型完成工作。其實,這個支援並不是說演算法本身就不考慮缺失值了,而是開發這個包的程式設計師幫助你實現了資料預處理,也就是資料填充的工作。目前...

各硬體在OSI參考模型中的層次劃分

1 物理層 此層位於osi參考模型的最底層。目的是將資料通過實體的 傳輸媒介進行傳輸,負責定義網路中所使用的訊號編碼方式 基 帶或寬頻 傳輸介質規格 接頭規格 電壓和規格等。2 資料鏈路層此層的主要功能有同步 檢測 制定介質訪問控制方法。下面對前兩種進行介紹。3 網路層此層的主要功能有定址 選擇傳送...

機器學習模型 知乎 最簡單的機器學習模型

今天學習感知機,乙個最簡單的線性分類器 考慮平面上的一系列點,他們有兩種類別,分別用 1,1表示,如圖 能夠確定的是可以找到一條直線,可以將這些點完美分割開來 那麼問題在於,如何找出這條直線呢?手上現在有,每個點 的座標 以及每個點的類別標記 這裡吧平面直角座標系的兩個維度定義為 而不是 假設這條直...