AI的基本概念和資料建模調參

2021-10-04 16:58:08 字數 1363 閱讀 5200

一,ai的基本概念

1監督學習:利用一組帶標籤的資料,學習從輸入到輸出的對映,然後用新資料對照對映關係得到對映結果,達到分類或回歸目的

d=(x, y) x:資料 y:標籤 學習x y的對映關係 演算法:線性回歸、邏輯回歸、樸素⻉貝葉斯、決策樹、隨機森林林、svm、神 經⽹網路

2 非監督學習

輸入資料沒有被標記,也沒有確定的結果

d=(x) ⽆無標籤 尋找x中的特徵或規律律eg:⽤使用者分層(興趣/特徵等等),降維⼯工作 演算法:pca(降維)、k-means、gmm、lda,層次聚類

3 半監督學習

在實際過程中,獲得的資料大部分是沒有標籤的,人們企圖加入一些無樣本的人為標準的樣本,使得無標籤的資料通過訓練獲得標籤,這相當於對無監督學習的一種改進。

4 強化學習

用於描述和解決智慧型體在與環境的互動過程中通過學習策略最大化實現特定的目標問題,q-learning,隱馬爾可夫

代表:alphago

5 深度學習(dl)

深度學習包含於機器器學習,主要涉及受⼤大腦結構或功能啟發的⼈人⼯工神經⽹網 絡.

如今dl模型 - 與真實⼈人腦的相似度較低 優點:模型會有更更強⼤大的表達能⼒力力(capacity), 具備層次表示能⼒力力(hierarhical representation), 具有全域性泛化能⼒力力(global generalization), 遷移學習能⼒力力(transfer learning)等等

二,建模流程和演算法基本使用

2.1**建模流程:**資料來源 - 資料預處理理 - 特徵⼯工程※ - 建模 - 驗證

名詞解釋

特徵⼯工程(feature engine):從資料中提取出有價值的特徵

建模:(可能存在的額外⼯工作) 1)調參 2)模型改造

驗證:確保模型及其結果符合⼀一定要求 ⽬目前⽕火熱研究:

熱研究端to端,即跳過特徵⼯工程,資料預處理理後直接進⾏行行建模 ,影象識別是跳過的。

建模第⼀一步:理理解資料,不不可直接套模型

–重要技術:資料視覺化(data visualization)

–在資料探索(data exploration)階段我們會試圖從直觀的⻆角度來檢視資料 的特性,⽐比如資料的分布是否滿⾜足線性的? 資料中是否包含異常值?特徵 是否符合⾼高斯分布等等。

高維(多個)資料特徵的視覺化,可採⽤用降維的⽅方法,再針對每⼀乙個特徵 作視覺化,並觀察不不同特徵間的關係

2.1 線性回歸

解決**的問題

線性回歸例子: 利⽤用線性回歸,從標準20歲男⼦子身⾼高體重資料,**出未給出的身⾼高所對 應的體重。

資料建模與資料庫設計 基本概念

需求的重要性需求理解高於使用者期望資料模型與概念模型 資料模型 表達計算機世界的模型 概念資料模型 表達資訊世界的模型 資料建模抽象過程抽象步驟 理解 區分 命名 表達 需要理解現實世界 理解的標誌是區分 表與表的區分,表內資料的區分,資料項之間關係的區分,表之間關係的區分 區分的標誌是命名 命名表...

資料結構基本概念和資料結構型別

對資料結構實現新增 刪除 更新 查詢 排序等 資料 資料是描述客觀事物的數值,字元以及能輸入機器且能被處理的各種符號集合。資料含義廣泛,除了通常的數值資料,字元,字串是資料以外,聲音,影象等一切可以輸入計算機並能被處理的都是資料。資料項 資料項具有原子性,是不可分割的最小資料單元。如描述學生相關資訊...

MPEG2 TS基本概念和資料結構

mpeg2 ts基本概念和資料結構 5 傳輸流分組和pes分組原始流分成很多pes分組,保持序列順序,乙個pes分組只包含乙個原始流的編碼資料。pes分組長度很大,最大可為64k位元組。pes分組分為 分組首部 header 和 有效負載 payload 有效負載 指跟隨在首部位元組之後的位元組。首...