學習心得 SIFT特徵

2021-09-28 07:24:46 字數 1825 閱讀 5716

sift特徵是影象的一種具有旋轉、縮放、平移不變性的特徵。對於一幅影象,sift演算法經過一系列複雜運算,輸出若干個特徵點,並為每個特徵點構建乙個128維的特徵向量,這個特徵向量對旋轉、縮放、平移不敏感。

在兩幅影象中都有同乙個目標,但它們的姿態不同(如經過了旋轉、縮放、光照變化、部分遮擋等)。對兩幅影象分別提取sift特徵,根據sift特徵的不變性,該目標同乙個位置的特徵點在兩幅影象中的特徵向量具有很高的相似度,因此通過特徵向量的匹配,我們可以在兩幅影象中找到特徵點的對應關係,進而實現目標在不同影象中的匹配。

構建尺度空間的方法是通過高斯模糊和下取樣,最終構建乙個高斯金字塔和dog空間下的金字塔。

包含s**像,每組包含n+3層影象(n為dog空間下的每組層數)。每**像尺寸相同,但具有不同的σ值;下一組的第一幅影象是由上一組的倒數第三幅影象下取樣得到,尺寸縮小到原來的四分之一,但具有相同的σ值。構建方法如下:

1、設定乙個初始尺度σ,代入二維高斯核函式對影象進行高斯模糊

2、從第一層開始往上,每一層的尺度是逐漸增加的,依照該層的尺度對影象進行高斯模糊。按照演算法的公式,倒數第三層的尺度為2σ。

3、下一組的第一層由上一組的倒數第三層降取樣得到,因此其初始尺度為2σ,尺寸是上一層的四分之一。

4、重複2、3這樣的過程,直到影象組數達到s組結束。

每組高斯金字塔影象,相鄰兩層進行差分運算得到dog空間的差分影象,由於高斯金字塔每組有n+3層,因此dog空間每組有n+2層影象。值得注意的是,dog空間同樣有s組,也形成了乙個影象金字塔。

極值檢測

針對每組的n+2層影象,除去第一層和最後一層,中間的n層影象,對每一層影象進行極值點檢測,方法是比較待檢測點和本層的8鄰域點、上層的9鄰域點、下層的9鄰域點的大小,確定待檢測點是否是極值點。

所有n層影象的極值點檢測完成之後,我們初步得到了一批關鍵點,後續需要對這些點進一步處理。

離散空間的極值點不是真正的極值點,所以需要通過擬合三維二次函式來精確確定關鍵點的位置和尺度。對候選關鍵點x,其偏移量為∆x,通過對d(x)求極值得到∆x的取值,並計算出此時的d(x)。要注意的是當偏移量大於0.5時,要在更加接近的鄰近點上重新插值直到收斂。對於|d(x)|小於一定閾值的點,易受雜訊的干擾而變得不穩定,所以直接刪除。

高斯差分運算元會產生較強的邊緣響應,需要剔除不穩定的邊緣響應點。根據dog運算元在垂直邊緣的方向有較大的主曲率,在橫跨邊緣的方向有較小的主曲率的性質,構建關鍵點處的2x2的hessian矩陣,tr代表矩陣對角線元素之和,det代表矩陣行列式,tr^2/det表徵了該關鍵點是邊緣響應點的程度,其值越大,越接近於邊緣響應點。因此我們設定乙個閾值,剔除tr ^2/det大於該閾值的關鍵點。

有了關鍵點之後要為每個關鍵點生成乙個特徵向量,這就是特徵描述,為了使描述符具有旋轉不變性,要計算每個關鍵點的基準方向。首先對於每個關鍵點,計算以其為中心半徑為3×1.5σ鄰域內的所有點的梯度幅值和方向;然後計算梯度直方圖,即將0到360度的方向範圍等間隔分為若干個柱,累計落到每個方向內的梯度幅值;最後將累計值最大的方向作為當前關鍵點的主方向,若存在超過主方向80%能量的峰值,則作為輔方向。

得到關鍵點的方向之後,通過座標系旋轉將x軸旋轉到關鍵點主方向上;然後在關鍵點尺度空間內44的視窗中計算8個方向的梯度資訊,具體而言即:每個視窗包含44的畫素,對每個畫素點計算梯度幅值和方向,利用高斯視窗對其進行加權運算,最後在該視窗上生成8個方向的梯度直方圖,其結果可以作為1個8維向量;每個視窗都經過這樣的計算之後,形成448維的關鍵點特徵描述符

opencv中可以通過cv.xfeatures2d.sift_create方法來建立乙個sift特徵檢測器。這個方法有乙個引數sigma,要注意的是該引數有預設值,一般不同設定。但是某些情況下可能特徵提取結果不好,需要酌情調整該引數的值。

sigma引數代表第一組第一層影象的高斯模糊尺度。

學習心得 python學習心得

自從來了深圳工作以後,尤其是屢屢面試碰壁以後。發現其實自己的知識面很窄,做筆試題的時候絞盡腦汁還是漏洞百出,並不是不會做,而是出現一大堆不該有的失誤。每次被問道,對資料庫了解嗎?說一大堆看起來很高階的東西 好啊,那我們寫幾個sql語句吧。馬上完蛋了,沒了手冊關鍵字都記不起。了解哪幾種指令碼語言,sh...

學習心得 我的學習心得

我是乙個已經步入中年的70後,離開校園已經20年了,因為當年的政策因素而未能圓我的大學夢,在20年的工作過程中總是因為缺少一張大學文憑而失去了很多機會,曾經也考慮過自考,但是乙個人去面對的時候總感覺心有餘而力不足。2018年3月份偶然讓我認識了尚德,原來自考還可以這樣學習。一直懷疑自己年紀大了記憶力...

SIFT特徵匹配

影象特徵分很多種,例如顏色特徵 紋理特徵 形狀特徵 空間關係特徵等。常用的特徵為sift特徵。sift scale invariantfeaturetransform,sift 具有以下特性 1 對平移 旋轉 伸縮 亮度 遮擋和雜訊等具有良好的不變性,對視覺變化 仿射變換也有一定的穩定性。2 即使少...