人臉光照調整之Gabor濾波

2021-07-03 16:07:25 字數 1910 閱讀 8960

在影象處理、模式識別以及計算機視覺等領域中,gabor 濾波器得到了廣泛的應用。 用gabor 函式形成的二維gabor 濾波器具有在空間域和頻率域同時取得最優區域性化的特性,與人類生物視覺特性很相似,因此能夠很好地描述對應於空間頻率(尺度)、空間位置及方向選擇性的區域性結構資訊。

gabor變換是一種短時傅利葉變換方法,其實質是在傅利葉變換中加入乙個窗函式,通過窗函式來實現訊號的時頻分析。當選取高斯函式作為窗函式時,短時傅利葉變換稱為gabor變換。

常用的偶對稱二維gabor濾波器可表示為:

不同方向下的gabor濾波器:

圖1 不同方向上的濾波器

在實際應用時,可以根據檢測物件的方向趨勢,選擇合適的方向引數進行濾波。如在檢測人臉的五官時,可以根據人臉的偏轉角度進行濾波,可以使特徵點的定位更加準確。

2.不同頻率下的濾波器:

圖2 不同頻率下的濾波器

從圖2可以看出隨著的變化,gabor濾波器中出現了很多寬窄與紋理不同的明暗條紋。當濾波器紋理與影象作用時,濾波器覆蓋下的區域性紋理頻率與濾波器的頻率越接近響應就越大,反之越小。

3.試驗結果:

在「人臉光照調整之dct變換」隨筆中,原始影象經過dct變換處理後,並不能完全去除光照在人臉上分布不均的影響,而且人臉的本真資訊也難以被全部表達。為此在dct變換的基礎上,用gabor濾波對其進行再處理,可以達到更好的結果。

圖三基於dct變換的gabor濾波

圖四 基於dct變換的gabor濾波

圖三(c)是在(b)圖基礎上做的gabor濾波,效果顯示已基本完全消除了高**對影象的影響。同理,圖四(c)的右邊臉的光照也被抑制下來。圖四(d)是對原始影象直接做gabor濾波,雖然區域性效果較(c)圖更清晰,但整體紋理沒有(c)圖平滑,這樣會給後續特徵點定位的收斂性帶來影響,因此定位效果欠穩定。

這兩種方法合在一起使用,時間開銷還是挺大的,在人臉識別等實時系統中,需要優化或精簡。一般情況下,就單比處理效果和穩定性,gabor要由於dct變換。因此,在容許情況下,我們可以只取gabor對影象進行處理。比如,作者在「眼睛定位」隨筆中,就只用gabor濾波對人臉處理,以提高眼睛定位精度。

下面,作者再貼幾張圖,看看這兩種方法合在一起時,對aam的幫助。

圖五 光照調整對aam定位的幫助

圖五中的(a)圖是aam對原始影象直接定位的結果,(b)圖是在去光照後的定位效果。比較兩**像,可以很明顯的看到(b)圖的定位精度有了大幅度的提高。

人臉光照調整之Gamma校正

人臉光照處理的理想狀態是,在不損失影象內容的前提下,保持影象在各種環境下的影象光照一致。而像之前提到過的gabor雖然能保持較好的光照統一性,但會造成一部分的低頻資訊丟失,另外的dct變換,不能很好適應環境光的變化。所以,在實際使用中,往往不能把光照處理的壓力都放在後期演算法處理上,在攝像頭採集時就...

高階光照與材質之模擬真實世界的光照

讀書筆記第二章,加了許多博主的理解和補充。第二章講的也是基礎知識,補充了博主許多知識縫隙。介紹了四中型別光的光照模型,點光源,面光源,方向光,聚光燈,和他們的光照模型,還簡單介紹了下gi。這章的幾個topics 1.理想的點光源 2.幾何衰減 3.光照通過物質的衰減 4.方向光 5.面積光 6.聚光...

Unity Shader 光照模型之漫反射

舊部落格轉移 2016年4月3日 23 27 在現實生活中,我們看見能看見的東西都是光反射出來的顏色,如果反射光太弱,或者沒有進入你的視角範圍,你看到的就是黑色的。在遊戲中光分為幾種,平行光源 太陽光 點光源 燈泡 等等,最常用的是directional light 平行光源 當然在計算機中光不過是...