機器學習 基本概念 一般步驟 工具

2022-06-28 01:57:10 字數 767 閱讀 6024

收集資料

提取特徵

轉換資料

清洗資料

劃分資料

選擇演算法

訓練演算法

驗證演算法

符合要求則繼續,否則重新選擇演算法或重新訓練演算法,甚至是重新收集資料

使用演算法

收集大量已分好種類的樣本資料

選擇用於分析的特徵(重量,翼展,有無腳蹼,不同部位顏色,等等)

取特徵值 x 和種類 y、轉換資料格式、特徵編碼

清洗資料、處理缺失值、處理異常值、歸一化或標準化、降維

分為兩套獨立的樣本集:訓練資料集和測試資料集,比如可以選擇 90% 的樣本作訓練,10% 的樣本作測試,需要保證有隨機性

選擇一種分類演算法

使用訓練資料集進行迭代訓練,產生乙個模型 f(x) = y

將測試資料集的特徵值作為模型的輸入,模型判斷出相應的種類

將模型判斷的結果與測試資料集的實際種類作比較,得出該模型的精確度,如果精確度不符合要求,重新選擇演算法或重新訓練演算法,甚至是重新收集資料

使用該模型,通過特徵值對新資料進行分類

機器學習庫庫簡介

scikit-learn(sklearn)

機器學習演算法

tensorflow/theano/caffe

深度學習框架

keras

以 tensorflow 或 theano 為後端,提供友好易用的api,適合於簡單快速的原型設計

spark mllib

分布式、大資料、運算快,提供的演算法可能比較基礎,api 限制多

機器學習任務的一般步驟

1.確定特徵 選取合適的資料和特徵可能是最重要的步驟,也包括資料的預處理或清洗,通常可以稱之為特徵工程。2.確定模型 確定目標函式及決策邊界的形狀。可選擇多個模型進行比較。3.模型訓練 根據訓練資料估計模型引數。4.模型評估 這裡要區分兩個概念 模型選擇 估計不同模型的效能,選出最好的模型。通常在校...

機器學習應用的一般步驟

在我們準備用機器學習構建乙個分類器來處理實際問題時,還需要做些其他的準備工作 1.根據你的問題選擇一種合適的機器學習方法,因為每種機器學習的演算法都有各自不同的特點,能適應的場景也不同,所以選擇合適的機器學習方法事半功倍。2.根據你的問題選擇合適的特徵來進行分析,因為事物之間都有自己的特徵,選擇好事...

SEO基本概念 SEO一般有哪些步驟或環節?

搜尋引擎優化seo一般有哪些步驟或環節?seo並不是簡單的幾個秘訣或幾個建議,而是一項需要足夠耐心和細緻的腦力勞動。大體上,seo包括六個環節 2 架構分析 結構符合搜尋引擎的爬蟲喜好則有利於seo。架構分析包括 剔除 架構不良設計 實現樹狀目錄結構 導航與鏈結優化。3 目錄和頁面優化 seo不止是...