《數學之美⋅第二版》第五章
1、通訊模型
上圖表示了乙個典型的通訊系統，它包括雅各布森(roman jakobson)提出的通訊的六個要素(傳送者(資訊源)，通道，接收者，資訊，上下文和編碼)。
其中，s1,
s2,s
3,..
. 表示資訊源發出的訊號。o1
,o2,
o3,.
..是接受器接收到的訊號。通訊中的解碼就是根究接收到的訊號o1
,o2,
o3,.
..還原傳送的訊號s1
,s2,
s3,.
..。同樣，很多自然語言處理的應用也可以這樣理解。在從漢語到英語的翻譯中，說話者講的是漢語，但是通道傳播編碼的方式是英語，如果利用計算機，根據接收到的英語資訊，推測說話者的漢語意思，就是機器翻譯。同樣，如果要根據帶有用拼寫錯誤的語句推測說話者想表達的正確意思，那就是自動糾錯。這樣，幾乎所有的自然語言處理問題都可以等價成通訊的編碼問題。
在通訊中，如何根據接收端的觀測訊號o1
,o2,
o3,.
..來推測訊號源傳送的資訊s1
,s2,
s3,.
..呢？只需要從所有的源資訊中找出最可能產生出觀測訊號的那乙個資訊。用概率論的語言來描述，就是在已知o1
,o2,
o3,.
..的情況下，求得令條件概率p(
s1,s
2,s3
,...
|o1,
o2,o
3,..
.)達到最大值的那個資訊串s1
,s2,
s3,.
..，即s1
,s2,
s3,.
..=a
rgal
lmax
s1,s
2,s3
,...
p(s1
,s2,
s3,.
..|o
1,o2
,o3,
...)
(公式1.1)
利用貝葉斯公式，上述公式等價於 p(
o1,o
2,o3
,...
|s1,
s2,s
3,..
.)⋅p
(s1,
s2,s
3,..
.)p(
o1,o
2,o3
,...
) 其中，p(s
1,s2
,s3,
...|
o1,o
2,o3
,...
) 表達資訊s1
,s2,
s3,.
..在傳輸後變成接收的訊號o1
,o2,
o3,.
..的可能性；而p(
s1,s
2,s3
,...
) 表示s1
,s2,
s3,.
..本身是乙個在接收端合乎情理的訊號(比如乙個合乎情理的句子)的可能性；最後，p(
o1,o
2,o3
,...
) 表示在傳送端(比如說話的人)產生資訊o1
,o2,
o3,.
..的可能性。
首先，一旦資訊o1
,o2,
o3,.
..產生了，它就不會變了，這時p(
o1,o
2,o3
,...
) 就是乙個可以忽略常數。因此，上面的公式可以等價於p(
o1,o
2,o3
,...
|s1,
s2,s
3,..
.)⋅p
(s1,
s2,s
3,..
.)當然，這裡有兩項，雖然多過公式1.1的一項，但是這個公式完全可以用隱馬爾可夫模型(hidden markov model)來估計。
2、隱馬爾可夫模型
先複習一下概率論 再來寫這一章！
讀書筆記 數學之美
1.通訊模型 2.翻譯可行的條件 不同文字在記錄資訊的能力上是等價的，文字只是資訊載體，而非資訊本身。3.資訊的冗餘 是資訊保安的保障。語言的材料 語料 尤其是多語言的對照語料是機器翻譯的基礎。4.資訊的編碼，信源編碼 為了減少信源輸出符號串行中的剩餘度 提高符號的平均資訊量，對信源輸出的符號串行所...
隱馬爾可夫模型學習筆記
隱馬爾可夫模型是關於時序的概率模型，描述由乙個隱藏的馬爾可夫鏈隨機生成不可觀測的狀態隨機序列，再由各個狀態生成乙個觀測而產生觀測隨機序列的過程。隱藏的馬爾可夫鏈隨機生成的狀態的序列，稱為狀態序列 每個狀態生成乙個觀測，而由此產生的觀測的序列稱為觀測序列。序列的每乙個位置又可看做是乙個時刻。設q是所有...
讀書筆記 數學之美 筆記
隨便總結的，書都看了，總要留下點印記不是本質就是乙個編譯碼和傳輸的過程 自然語言處理在過去的30年發生了巨大的變化 構建兩個詞表，乙個是基本詞表，乙個是複合詞表，再根據兩個詞表分表建立兩個語言模型 模型1，模型2，先對句子進行模型1分詞，就得到了小顆粒度的分詞結果，在此基礎上，再用大顆粒度的模型2進...