計算熵引發的一些討論

2021-08-09 12:03:22 字數 2198 閱讀 4451

如下公式為:f(

p1,…

,pn)

=∑ni

=0pi

∗log

pi,其中∑n

i=0p

i=1,

且pi+1

這個式子在p1

=p2=

...=

pn處取得最小值.

其中證明的方式是,構造乙個序列,(p

11,…

,p1n

) 到(p

k1,…

,pkn

) .

構造方法是通過區域性調整pi

,pi+

1 的大小。令e

=∑ni

=0pi

n ,則 (p

21,…

,p2n

)=(e

,p11

+p12

−e,…

,p1n

) (p

31,…

,p3n

)=(e

,e,p

22+p

23−e

,…,p

2n)

(pn−

11,…

,pn−

1n)=

(e,e

,…,e

) 而可以很輕易的證明f(

pi1,

…,pi

n)>f(

pi+1

1,…,

pi+1

n)(原問題從而轉化成該問題)

從而證明到對於任意的p1

,…,p

n,f(

p1,…

,pn)

>f(

e,…,

e)但是這種證明方式基於一種幸運之上。因為正好存在這種構造序列的方法,並且這種構造能夠輕易證明。

如果我現在假定,構造序列只允許如下操作,對序列中兩個數做一次平均操作,即對任意的pi

,pj 可以構造成pi

+pj2

,pi+

pj2 ,即(p

k1,…

,pki

,…,p

kj,…

,pkn

) 只能轉化成(p

k+11

,…,p

k+1j

+pk+

1j2,

…,pk

+1j+

pk+1

j2,…

,pk+

1n) 。

怎麼通過有規律的執行該操作來構造序列,經過無限次操作後,序列能夠達到(e,e,…,e)的極限,且f(

pi1,

…,pi

n)>f(

pi+1

1,…,

pi+1

n)。

下面構造一種方法,符合上面的條件。

反覆執行如下操作(記為a):

1.p1

,p2進

行平均 2.p

2,p3

進行平均

… n-1.pn

−1,p

n進行平

最終會達到極限(e,e…e).注意到a操作事實上是乙個線性變換,所以a是乙個矩陣。所以an

會達到如

下極限

⎛⎝⎜⎜

⎜⎜⎜1

n⋮1n

⋯⋯⋯1

n⋮1n

⎞⎠⎟⎟

⎟⎟⎟

這個收斂的證明方式,尚且不知。

事實上,上述證明方法是一種很一般的方法的特殊應用。

記m是乙個向量空間。v是m空間中的乙個元素,g將v對映到乙個數域空間,g(v)稱之為v的標量。p是關於v的謂詞,記為p(v).

m將v對映到m中的另乙個元素。

則用m構造乙個序列(v

1,v2

,…,v

n),

要證明p(v

n),即證明p(

v1)成

立,且p

(vi)

成立,則

p(vi

+1)成

立 ,事實上這是數學歸納法

要證明g(v

n)>g(

v1) ,即證明對任

意的i,

g(vi

)>g(

vi−1

) .

這種證明的方式,本質上利用了向量空間的性質。

關於熵的一些理解

對於理工科學生來說,熵 並不是乙個陌生的名詞。在諸如 大學物理 熱力學 和 資訊理論 等課程中都會有所介紹。但同時 熵 又是乙個顯得有點神秘的概念,看不見也摸不著。我最早是在高中物理課中聽說的,大概是在介紹 熱力學第二定律 時提到的。熱力學第二定律的內容是 熱力學過程是不可逆的 孤立系統自發地朝著熱...

關於Session的一些討論

眾所周知,session是jsp的九大內建物件之一,也是伺服器二次識別客戶端的橋梁,它的生命週期非常長,一般都是存在於乙個會話 同一瀏覽器 之中,與 天地同壽 伺服器 有如下例子 1 在不關閉瀏覽器的情況下,建立乙個session,你始終可以訪問到這個session。2 在不關閉瀏覽器的情況下,建立...

素數判定的一些討論(Miller Rabin演算法)

很久沒有寫部落格了。最近軍訓加開學,感覺刷題速度有降低,要補一補。回歸正題,正式進入數論階段,討論一下關於素數判定的那些事。直接根據素數的定義列舉 i 從2到 n 1 如果n i 0 n 為合數。時間複雜度 o n bool is prime int n 發現若存在 i n 使得n i 0,則必有n...