深度學習第一次開啟
1.在模型訓練或**時，我們常常會同時處理多個資料樣本並用到向量計算。在介紹線性回歸的向量計算表 達式之前，讓我們先考慮對兩個向量相加的兩種方法。
2.函式形式較為簡單時，上面的誤差最小化問題的解可以直接用公式表達出來。這類解叫作解析解（analytical solution）。本節使用的線性回歸和平方誤差剛好屬於這個範疇。然而，大多數深度學習模型並沒有解析解，只能通過優化演算法有限次迭代模型引數來盡可能降低損失函式的值。這類解叫作數值解（numerical solution）。
讀入文字
分詞建立字典，將每個詞對映到乙個唯一的索引（index）
將文字從詞的序列轉換為索引的序列，方便輸入模型
一段自然語言文字可以看作是乙個離散時間序列，給定乙個長度為 tt 的詞的序列 w1,w2,…,wtw1,w2,…,wt ，語言模型的目標就是評估該序列是否合理，即計算該序列的概率：
p(w1,w2,…,wt).
裁剪梯度：迴圈神經網路中容易出現梯度衰減或梯度**，這回導致網路幾乎無法訓練。梯度裁剪是一種硬度梯度**的方法。假設我們把所有模型引數的梯度拼成乙個向量g，並設裁剪的閾值是θ。裁剪後的梯度是 min(θ/||g||, 1)g的l2範數不超過θ。
困惑度：通常使用困惑都來評價語言模型的好壞。困惑都是對交叉熵損失函式做指數運算後的得到的值
最佳情況下，模型總是吧標籤類別的概率**為1.此時困惑都為1
最佳情況下，模型總是吧標籤類別的概率**為1.此時困惑都為1
最壞情況下，模型總是把標籤類別的概率月初為0，此時困惑都為正無窮
基線情況下，模型總是**所有類別的概率**都相同，此時困惑都為類別個數。
2020 1 21 打卡學習C 第一天
用c 書寫hello world 示例 include 固定語句 using namespace std 固定語句 1 單行注釋 2 多行注釋 main是乙個程式的入口 每個程式只能有乙個main函式 int main 1 單行注釋 注釋內容 2 多行注釋 注釋內容 1 變數存在的意義 方便我們管理...
Python學習Day4打卡
合併 分片與索引 字串格式化符 列表，元組，字串的共同點 1.都可以通過索引得到每乙個元素 2.預設索引值總是從0開始 靈活的python還支援負數索引 3.可以通過分片的方法得到乙個範圍內發元素的集合 4.有很多共同的操作符 我們把他們統稱為序列 1.list list 方法用於把乙個可迭代物件轉...
python基礎任務1打卡 第一天
1.環境搭建 a anaconda環境配置 b 直譯器 python有多種直譯器分別是 3.python基礎講解 a python變數特性 命名規則 python一切皆物件 常量有型別，變數無型別 不關係變數溢位，python會自動轉變型別 標示符可以由 字母 下劃線 和 數字 組成，不能以數字開頭...