from sklearn import ensemble
整合分類器(ensemble)：
1.bagging(ensemble.bagging.baggingclassifier)
其原理是從現有資料中有放回抽取若干個樣本構建分類器，重複若干次建立若干個分類器進行投票，通過投票決定最終的分類結構
2.randomforest(ensemble.randomforestclassifier)
對隨機選取的子樣本集分別建立m個cart(classifier and regression tree)，然後投票決定最終的分類結果
random在此處的意義：
1)bootstrap 中的隨機選擇子樣本集
2)random subspace 的演算法從屬性中隨機選擇k個屬性，每個樹節點**時從這隨機的k個屬性中，選擇最優的
3.boosting(ensemble.weight_boosting)
在選擇分類超平面時給樣本加了乙個權值，使得loss function盡量考慮那些分錯類的樣本。(i.e.分錯類的樣本weight 大)
-boosting 重取樣的不是樣本，而是樣本的分布。
最後的分類結果是幾個弱分類器的線性加權和。注意這幾個弱分類器都是一種base classifier類別。
2) bagging的每個**函式(即弱假設)沒有權重，而boosting根據每一次訓練的訓練誤差得到該次**函式的權重；
3)bagging的每個分類器的訓練樣本是隨機抽樣構建，而boosting會對上一次分類輸出的結果進行取樣，錯誤的樣本會有更高的權重；
4)bagging的各個**函式可以並行生成，而boosting的只能順序生成。對於神經網路這樣極為耗時的學習方法，bagging可通過並行訓練節省大量的時間開銷。
2)、3)的權重機制，體現了boosting「提公升」的特性。
-與bagging的共同點：都可以通過使用for迴圈給estimator賦不同的分類器型別，以實現整合多種分類器，而不是單一的某一種(比如決策樹)。
代表演算法 adaboost 和 realboost。總的來說，adaboost 簡單好用，realboost 準確
4、gbdt
使用決策樹作為基本分類器；梯度提公升優化演算法；
重複選擇乙個表現一般的模型並且每次基於先前模型的表現進行調整；
不同的是，adaboost是通過提公升錯分數據點的權重來定位模型的不足，而gradientboosting是通過計算梯度(gradient)來定位模型的不足。因此相比adaboost，gradientboosting可以使用更多種類的目標函式。
5.stacking
在stacking(堆疊)方法中，每個單獨分類器的輸出會作為更高層分類器的輸入，更高層分類器可以判斷如何更好地合併這些來自低層的輸出。
Python實現貝葉斯分類器
使用樸素貝葉斯分類器，對一片文章進行分類處理 對中文進行分詞處理 jieba分詞 對分開的詞語進行處理，去除重複詞彙，去除標點和單個虛擬詞彙如 你，我，他。選擇特徵詞，很重要，要總結出符合某一型別的關鍵特徵詞對分類器進行訓練，即傳入一些已經分好類的文章，讓分類器可以知道其中的一些特徵詞。計算出特徵詞...
softmax分類器 python實現
演算法這裡為了防止大家看不懂我的程式，我在這裡做一些定義 jj x i 1 p y i j x i j 1 p y i j x i e tjx i kl 1e tlx i 2 e tlx i 3 資料集 特徵將整個圖作為特徵 已上傳github 這次的 是python3的。encoding utf8...
利用python實現KNN分類器
雖然已經熟悉掌握了knn分類器，但是關鍵還是要實現一遍，參考一些資料之後，實現如下 加了注釋 該程式實現了knn演算法 import numpy import operator def knnclassifier inx,dataset,labels,k inx 被分類的測試樣本 向量形式 data...