計算資訊熵的公式：n是類別數，p(xi)是第i類的概率
假設資料集有m行，即m個樣本，每一行最後一列為該樣本的標籤，計算資料集資訊熵的**如下：
from math import log
def calcshannonent(dataset):
numentries = len(dataset) # 樣本數
labelcounts = {} # 該資料集每個類別的頻數
for featvec in dataset: # 對每一行樣本
currentlabel = featvec[-1] # 該樣本的標籤
if currentlabel not in labelcounts.keys(): labelcounts[currentlabel] = 0
labelcounts[currentlabel] += 1
shannonent = 0.0
for key in labelcounts:
prob = float(labelcounts[key])/numentries # 計算p(xi)
shannonent -= prob * log(prob, 2) # log base 2
return shannonent
補充知識：python 實現資訊熵、條件熵、資訊增益、基尼係數
我就廢話不多說了，大家還是直接看**吧~
import pandas as pd
import numpy as np
import math
## 計算資訊熵
def getentropy(s):
# 找到各個不同取值出現的次數
if not isinstance(s, pd.core.series.series):
s = pd.series(s)
prt_ary = pd.groupby(s , by = s).count().values / float(len(s))
return -(np.log2(prt_ary) * prt_ary).sum()
## 計算條件熵: 條件s1下s2的條件熵
def getcondentropy(s1 , s2):
d = dict()
for i in list(range(len(s1))):
d[s1[i]] = d.get(s1[i] , ) + [s2[i]]
return sum([getentropy(d[k]) * len(d[k]) / float(len(s1)) for k in d])
## 計算資訊增益
def getentropygain(s1, s2):
return getentropy(s2) - getcondentropy(s1, s2)
## 計算增益率
def getentropygainradio(s1, s2):
return getentropygain(s1, s2) / getentropy(s2)
## 衡量離散值的相關性
import math
def getdiscretecorr(s1, s2):
return getentropygain(s1,s2) / math.sqrt(getentropy(s1) * getentropy(s2))
# ######## 計算概率平方和
def getprobss(s):
if not isinstance(s, pd.core.series.series):
s = pd.series(s)
prt_ary = pd.groupby(s, by = s).count().values / float(len(s))
return sum(prt_ary ** 2)
######## 計算基尼係數
def getgini(s1, s2):
d = dict()
for i in list(range(len(s1))):
d[s1[i]] = d.get(s1[i] , ) + [s2[i]]
return 1-sum([getprobss(d[k]) * len(d[k]) / float(len(s1)) for k in d])
## 對離散型變數計算相關係數，並畫出熱力圖, 返回相關性矩陣
def discretecorr(c_data):
## 對離散型變數(c_data)進行相關係數的計算
c_data_column_names = c_data.columns.tolist()
## 儲存c_data相關係數的矩陣
import numpy as np
dp_corr_mat = np.zeros([len(c_data_column_names) , len(c_data_column_names)])
for i in range(len(c_data_column_names)):
for j in range(len(c_data_column_names)):
# 計算兩個屬性之間的相關係數
temp_corr = getdiscretecorr(c_data.iloc[:,i] , c_data.iloc[:,j])
dp_corr_mat[i][j] = temp_corr
# 畫出相關係數圖
fig = plt.figure()
fig.add_subplot(2,2,1)
sns.heatmap(dp_corr_mat ,vmin= - 1, vmax= 1, cmap= sns.color_palette('rdbu' , n_colors= 128) , xticklabels= c_data_column_names , yticklabels= c_data_column_names)
return pd.dataframe(dp_corr_mat)
if __name__ == "__main__":
s1 = pd.series(['x1' , 'x1' , 'x2' , 'x2' , 'x2' , 'x2'])
s2 = pd.series(['y1' , 'y1' , 'y1' , 'y2' , 'y2' , 'y2'])
print('condentropy:',getcondentropy(s1, s2))
print('entropygain:' , getentropygain(s1, s2))
print('entropygainradio' , getentropygainradio(s1 , s2))
print('discretecorr:' , getdiscretecorr(s1, s1))
print('gini' , getgini(s1, s2))
資訊熵計算權重
1948年美國數學家夏農 shanonc.e 為解決資訊的度量問題提出了資訊熵的概念。資訊熵是資訊理論中用來刻畫資訊無需度的乙個量，熵值越大，表示資訊的無序化程度越高，相對應的資訊效率越高 假設針對評價指標已經建立了合理的權重矩陣p，則pj表示第j個評價指標的權重。顯然pj的和為1且pj 0。為確定...
資訊熵的計算
最近在看決策樹的模型，其中涉及到資訊熵的計算，這裡東西是由訊號處理中來的，理論部分我就不再重複前人的東西了，下面給出兩個簡單的公式 當然學習過訊號與系統的童鞋一定覺得這不是夏農提出的東西嗎？o o 沒錯，就是這個東西，只不過我們用在了機器學習上，好了下面就看 吧，這些 也很簡單，我們知道資訊熵越大表...
資訊熵概念隨筆 資訊熵 資訊的熵
之前碰到有人問，資訊熵的事，問到，有的地方說資訊熵是用來描述事物的不確定程度，取值範圍0 1 為什麼在計算資訊熵的時候，結果卻是大於1的。其實，這裡涉及到了資訊熵不同角度的概念問題，我就從我所了解的兩個角度講下這兩種情況。1.從資訊熵的作用定義出發，它就是用來描述事物的不確定程度，也就是當事物完全不...