1. 在深度學習中，涉及到大量矩陣相乘，現在需要計算三個稠密矩陣a,b,c的乘積abc，假設三個矩陣的尺寸分別為m*n,n*p,p*q,且m
(ab)c
常見的判別式模型有：
常見的生成式模型有:
3.概率質量函式 (probability mass function，pmf)是離散隨機變數在各特定取值上的概率。
累積分布函式（cumulative distribution function，cdf） 能完整描述乙個實數隨機變數x的概率分布，是概率密度函式的積分。對於所有實數x ，與pdf相對。
4. 在統計模式識分類問題中，當先驗概率未知時，可以使用
n-p判決
最小最大損失準則
解析：在貝葉斯決策中，對於先驗概率p(y)，分為已知和未知兩種情況。
1. p(y)已知，直接使用貝葉斯公式求後驗概率即可；
2. p(y)未知，可以使用聶曼-皮爾遜決策(n-p決策)來計算決策面。
而最大最小損失規則主要就是使用解決最小損失規則時先驗概率未知或難以計算的問題的。
5. crf模型對於hmm和memm模型的優勢：
crf優點：特徵靈活，可容納較多的上下文資訊，能夠做到全域性最優；
crf缺點：訓練代價大，複雜度高，速度慢；
1）crf沒有hmm那樣嚴格的獨立性假設條件，因而可以容納任意的上下文資訊。特徵設計靈活（與me一樣）-------- 與hmm比較
2）同時，由於crf計算全域性最優輸出節點的條件概率，它還克服了最大熵馬爾可夫模型標記偏置（label-bias）的缺點。 --------- 與memm比較
3）crf是在給定需要標記的觀察序列的條件下，計算整個標記序列的聯合概率分布，而不是在給定當前狀態條件下，定義下乙個狀態的狀態分；--------- 與me比較
6. 在hmm中,如果已知觀察序列和產生觀察序列的狀態序列,那麼可用以下哪種方法直接進行引數估計：
極大似然估計。
在給定觀測序列和對應的狀態序列估計模型引數，可以利用極大似然發估計。
如果給定觀測序列，沒有對應的狀態序列，才用em，將狀態序列看不不可測的隱資料。
機器學習基礎 機器學習基礎引入
機器學習 是人工智慧的核心研究領域之一，其最初的研究動機是為了讓計算機系統具有人的學習能力以便實現人工智慧。事實上，由於 經驗 在計算機系統中主要是以資料的形式存在的，因此機器學習需要設法對資料進行分析，這就使得它逐漸成為智慧型資料分析技術的創新源之一。機器學習是構建複雜系統的一種方法，也許依靠我們...
機器學習思考題目 04基礎演算法
本文直譯自 hands on ml 課後題。有改動的以 表示 可以用隨機梯度下降法 sgd 或者小批量梯度下降 mini batch gradient descent 如果訓練集能否放入記憶體的話也可以用批量梯度下降演算法 batch gradient descent 但是不宜用標準方程 norma...
機器學習基礎學習筆記 機器學習基礎介紹
概念 多領域交叉學科，設計概率論 統計學 逼近論 凸分析 演算法複雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的效能。學科定位 人工智慧 artificial intelligence,ai 的核心，是是計算機具有智慧型...