誤差逆傳播演算法（bp演算法）
通常說「bp網路」時，一般是指用bp演算法訓練的多層前饋神經網路累積誤差逆傳播演算法bp演算法的工作流程：對每個訓練樣例，bp演算法執行以下操作：先將輸入示例提供給輸入神經元，然後逐層將訊號前傳，直到產生輸出層的結果；然後計算輸出層的誤差，再將誤差逆向傳播至隱層神經元，最後根據隱層神經元的誤差來對連線權和閾值進行調整。該迭代過程迴圈進行，直到達到某些停止條件為止。
bp演算法求解過程 用到 梯度下降、鏈式法則、對數機率函式的性質。
是基於累積誤差最小化的原則，在讀取整個訓練集d一遍後再進行引數更新。bp演算法過擬合的解決策略
只需乙個包含足夠多神經元的隱層，多層前饋神經網路可以以任意精度逼近任意複雜度的連續函式。神經元個數目前靠試錯法調整。
緩解過擬合策略有兩個：
早停：訓練集合誤差降低但測試集誤差公升高則停止訓練。
正則化：誤差目標函式增加乙個用於描述網路複雜度的部分。引入正則化後，與svm非常相似。
神經網路的訓練過程，可以看做是引數尋優的過程，也是找全域性最小的過程。rbf網路梯度下降法，會在區域性最小時更新量為零，意味著訓練終止。
避免區域性最小，而非全域性最小的策略：
1.以多組引數 初始化多個神經網路，訓練後取其中誤差最小的做為最終引數。
2.模擬退火：每一步都以一定概率接受比當前解更差的結果。從而有助於跳出區域性最小。
3.使用隨機梯度下降。
4.遺傳演算法
rbf(徑向基函式)是一種單隱層前饋神經網路，隱層啟用函式採用徑向基函式，而輸出層則是對隱層的線性組合。art網路
競爭性學習 是神經網路中常用的無監督學習策略。在使用該策略時，網路輸出神經元相互競爭，每一時刻僅有乙個競爭獲勝的神經元被啟用，其他神經元的狀態被抑制。這種機制也稱 勝者通吃。som網路art(自適應諧振理論)網路是競爭性學習的重要代表。
art2網路、fuzzyart網路、artmap網路
som(自組織對映)網路是一種競爭學習型的無監督神經網路。能將高維輸入資料對映到低維空間，同時保持輸入資料在高維空間的拓撲結構，即將高維空間中相似的樣本點對映到輸出層的鄰近神經元。級聯相關網路
級聯相關網路無需設定網路層數、隱層神經元數目，且訓練速度快，但在資料較小時容易過擬合。
elman網路
遞迴神經網路允許網路中出現環形結構。elman網路是代表。boltzmann機elman網路隱層神經元採用sigmoid函式，訓練採用推廣的bp演算法。
有一類神經網路，為網路狀態定義乙個能量，能量最小化時網路達到理想狀態，訓練就是最小化能量函式。深度學習boltzmann機是一種基於能量的模型。
標準boltzmann機是乙個全連線圖，訓練複雜度高。常用受限boltzmann機，用對比散度（cd）演算法訓練。
典型的深度學習，就是很深層的神經網路。增加隱層數目或增加隱層的神經元數目。深度學習的訓練從增加模型複雜度來看，增加隱層數目更有效：因為不僅增加了神經元數目，也增加了啟用函式的巢狀層數。
無監督逐層訓練是有效的訓練手段，基本思想是每次訓練乙個隱層，稱為預訓練。預訓練完後，對整個網路微調。例如深度信念網路（dbn）。另一種節省訓練開銷的辦法是權共享，即讓一組神經元使用乙個連線權。例如卷積神經網路（cnn）
C Primer第5版讀書筆記（第7章 類）
第7章 類 const成員函式 7.1.4 建構函式 預設建構函式，可以使用 default進行定義。和其他函式一樣，如果 default在類的內部，則預設建構函式是內聯的 如果它在類的外部，則該成員預設情況下不是內聯的 7.2 訪問控制與封裝 class與struct的唯一區別為class的預設訪...
《機器學習》讀書筆記 第1章 緒論
1.1引言 機器學習定義 研究如何通過計算的手段，利用經驗 資料 改善系統的效能。在計算機上從資料中產生模型的演算法，即學習演算法。假設用p評估電腦程式在某任務類t上的效能，程式利用經驗e，在t上改善了p 1.2基本術語 資料集 記錄的集合 屬性 特徵 事件或物件在某方面的表現或性質的事項 屬性值 ...
PMP讀書筆記 第5章
5.1.2 規劃範圍管理 工具與技術 5.1.3 規劃範圍管理 輸出 5.2 收集需求 5.2.2 收集需求 工具與技術 5.2.3 收集需求 輸出 5.3 定義範圍 5.3.2 定義範圍 工具與技術 5.3.3 定義範圍 輸出 5.4 建立 wbs 5.4.2 建立 wbs 工具與技術 5.4.3...