基於深度學習的入侵檢測記錄二

2021-07-14 05:10:33 字數 1191 閱讀 4914

我們已經了解了深度學習的基本概念,但是還不了解它具體如何實現。設想一下,如果讓你來實現深度學習,你會如何做?就以影象識別為例,比方說一輛電單車,如何讓機器做出正確的選擇?

我試圖以通俗的語言進行解釋,但是發現解釋不好。那麼,我們就先來看一下深度學習的實現過程再回過頭看這個問題。

看一下這段話

deep learning訓練過程具體如下:

1.使用自下上公升非監督學習(就是從底層開始,一層一層的往頂層訓練):

採用無標定資料(有標定資料也可)分層訓練各層引數,這一步可以看作是乙個無監督訓練過程,是和傳統神經網路區別最大的部分(這個過程可以看作是feature learning過程):

具體的,先用無標定資料訓練第一層,訓練時先學習第一層的引數(這一層可以看作是得到乙個使得輸出和輸入差別最小的三層神經網路的隱層),由於模型capacity的限制以及稀疏性約束,使得得到的模型能夠學習到資料本身的結構,從而得到比輸入更具有表示能力的特徵;在學習得到第n-1層後,將n-1層的輸出作為第n層的輸入,訓練第n層,由此分別得到各層的引數;

2.自頂向下的監督學習(就是通過帶標籤的資料去訓練,誤差自頂向下傳輸,對網路進行微調):

基於第一步得到的各層引數進一步fine-tune整個多層模型的引數,這一步是乙個有監督訓練過程;第一步類似神經網路的隨機初始化初值過程,由於dl的第一步不是隨機初始化,而是通過學習輸入資料的結構得到的,因而這個初值更接近全域性最優,從而能夠取得更好的效果;所以deep learning效果好很大程度上歸功於第一步的feature learning過程。

可以看到,訓練的過程分為兩個部分,利用非監督學習自下而上一層一層進行訓練,使得這一層的輸入和輸出差別最小。利用監督學習自上向下對網路進行微調。第一部分可以看成是feature learning的過程。接下來看下具體的演算法。

autoencoder自動編碼器

sparse coding稀疏編碼

restricted boltzman machine限制波爾茲曼機

deep belief networks 深信度網

convolutional neural networks卷積神經網路

接下來我們將一一**這些演算法。

written with stackedit.

關於基於機器學習的入侵檢測學習記錄

1 主機日誌記錄 2 網路流量資料 1 資料處理 2 演算法分析 1 發出警告 2 應急響應優點 準確率高 缺點 耗時大,不適合用於高速網路時代優點 效率高 缺點 只能檢測到已知的攻擊型別,對當今網路中存在未知攻擊方式不能有效的進行檢測利用龐大的已有資料學習,發現其中的內在規律,從而可以智慧型地檢測...

基於主機的入侵檢測技術

資料獲取劃分為直接監測和間接監測兩種方法。1 直接監測 直接監測從資料產生或從屬的物件直接獲得資料。例如,為了直接監測主機cpu的負荷,必須直接從主機相應核心的結構獲得資料。要監測ietd程序提供的網路訪問服務,必須直接從 inetd程序獲得關於那些訪問的資料 2 間接監測 從反映被監測物件行為的某...

入侵檢測初學習 常見的入侵檢測系統

入侵檢測系統是一種對網路傳輸進行即時監視,在發現可疑傳輸時發出警報或者採取主動反應措施的網路安全裝置。它與其他網路安全裝置的不同之處便在於,入侵檢測系統是一種積極主動的安全防護技術。入侵檢測系統 ids 檢查所有進入和發出的網路活動,並可確認某種可疑模式,ids利用這種模式能夠指明來自試圖進入 或破...