顏色特徵提取

2021-05-22 14:39:27 字數 2888 閱讀 5800

顏色特徵是在影象檢索中應用最為廣泛的視覺特徵,主要原因在於顏色往往和影象中所包含的物體或場景十分相關。此外,與其他的視覺特徵相比,顏色特徵對影象本身的尺寸、方向、視角的依賴性較小,從而具有較高的魯棒性。

面向影象檢索的顏色特徵的表達涉及到若干問題。首先,我們需要選擇合適的顏色空間來描述顏色特徵;其次,我們要採用一定的量化方法將顏色特徵表達為向量的形式;最後,還要定義一種相似度(距離)標準用來衡量影象之間在顏色上的相似性。在本節中,我們將主要討論前兩個問題,並介紹顏色直方圖、顏色矩、顏色集、顏色聚合向量以及顏色相關圖等顏色特徵的表示方法。

1 顏色直方圖

顏色直方圖是在許多影象檢索系統中被廣泛採用的顏色特徵。它所描述的是不同色彩在整幅影象中所佔的比例,而並不關心每種色彩所處的空間位置,即無法描述影象中的物件或物體。顏色直方圖特別適於描述那些難以進行自動分割的影象。

當然,顏色直方圖可以是基於不同的顏色空間和座標系。最常用的顏色空間是rgb顏色空間,原因在於大部分的數字影象都是用這種顏色空間表達的。然而,rgb空間結構並不符合人們對顏色相似性的主觀判斷。因此,有人提出了基於hsv空間、luv空間和lab空間的顏色直方圖,因為它們更接近於人們對顏色的主觀認識。其中hsv空間是直方圖最常用的顏色空間。它的三個分量分別代表色彩(hue)、飽和度(saturation)和值(value)。

計算顏色直方圖需要將顏色空間劃分成若干個小的顏色區間,每個小區間成為直方圖的乙個bin。這個過程稱為顏色量化(color quantization)。然後,通過計算顏色落在每個小區間內的畫素數量可以得到顏色直方圖。顏色量化有許多方法,例如向量量化、聚類方法或者神經網路方法。最為常用的做法是將顏色空間的各個分量(維度)均勻地進行劃分。相比之下,聚類演算法則會考慮到影象顏色特徵在整個空間中的分布情況,從而避免出現某些bin中的畫素數量非常稀疏的情況,使量化更為有效。另外,如果影象是rgb格式而直方圖是hsv空間中的,我們可以預先建立從量化的rgb空間到量化的hsv空間之間的查詢表(look-up table),從而加快直方圖的計算過程。

上述的顏色量化方法會產生一定的問題。設想兩幅影象的顏色直方圖幾乎相同,只是互相錯開了乙個bin,這時如果我們採用l1距離或者尤拉距離(見3.1.1節)計算兩者的相似度,會得到很小的相似度值。為了克服這個缺陷,需要考慮到相似但不相同的顏色之間的相似度。一種方法是採用二次式距離[4](見3.1.3節)。另一種方法是對顏色直方圖事先進行平滑過濾,即每個bin中的畫素對於相鄰的幾個bin也有貢獻。這樣,相似但不相同顏色之間的相似度對直方圖的相似度也有所貢獻。

選擇合適的顏色小區間(即直方圖的bin)數目和顏色量化方法與具體應用的效能和效率要求有關。一般來說,顏色小區間的數目越多,直方圖對顏色的分辨能力就越強。然而,bin的數目很大的顏色直方圖不但會增加計算負擔,也不利於在大型影象庫中建立索引。而且對於某些應用來說,使用非常精細的顏色空間劃分方法不一定能夠提高檢索效果,特別是對於不能容忍對相關影象錯漏的那些應用。另一種有效減少直方圖bin的數目的辦法是只選用那些數值最大(即畫素數目最多)的bin來構造影象特徵,因為這些表示主要顏色的bin能夠表達影象中大部分畫素的顏色。實驗證明這種方法並不會降低顏色直方圖的檢索效果。事實上,由於忽略了那些數值較小的bin,顏色直方圖對雜訊的敏感程度降低了,有時會使檢索效果更好。兩種採用主要顏色構造直方圖的方法可以在文獻[5,6]中找到。

2 顏色矩

另一種非常簡單而有效的顏色特徵使由stricker 和orengo所提出的顏色矩(color moments) [7]。這種方法的數學基礎在於影象中任何的顏色分布均可以用它的矩來表示。此外,由於顏色分布資訊主要集中在低階矩中,因此僅採用顏色的一階矩(mean)、二階矩(variance)和三階矩(skewness)就足以表達影象的顏色分布。與顏色直方圖相比,該方法的另乙個好處在於無需對特徵進行向量化。因此,影象的顏色矩一共只需要9個分量(3個顏色分量,每個分量上3個低階矩),與其他的顏色特徵相比是非常簡潔的。在實際應用中為避免低次矩較弱的分辨能力,顏色矩常和其它特徵結合使用,而且一般在使用其它特徵前起到過濾縮小範圍(narrow down)的作用。

3 顏色集

為支援大規模影象庫中的快速查詢,smith和chang提出了用顏色集(color sets)作為對顏色直方圖的一種近似[8]。他們首先將rgb顏色空間轉化成視覺均衡的顏色空間(如hsv空間),並將顏色空間量化成若干個bin。然後,他們用色彩自動分割技術將影象分為若干區域,每個區域用量化顏色空間的某個顏色分量來索引,從而將影象表達乙個二進位制的顏色索引集。在影象匹配中,比較不同影象顏色集之間的距離和色彩區域的空間關係(包括區域的分離、包含、交等,每種對應於不同得評分)。因為顏色集表達為二進位制的特徵向量,可以構造二分查詢樹來加快檢索速度,這對於大規模的影象集合十分有利。

4 顏色聚合向量

針對顏色直方圖和顏色矩無法表達影象色彩的空間位置的缺點,pass[9]提出了影象的顏色聚合向量(color coherence vector)。它是顏色直方圖的一種演變,其核心思想是將屬於直方圖每乙個bin的畫素進行分為兩部分:如果該bin內的某些畫素所佔據的連續區域的面積大於給定的閾值,則該區域內的畫素作為聚合畫素,否則作為非聚合畫素。假設αi與βi分別代表直方圖的第i個bin中聚合畫素和非聚合畫素的數量,影象的顏色聚合向量可以表達為<(α1, β1), (α2, β2), …, (αn, βn)>。而<α1 + β1, α2 + β2, …, αn +βn > 就是該影象的顏色直方圖。由於包含了顏色分布的空間資訊,顏色聚合向量相比顏色直方圖可以達到更好的檢索效果。

5 顏色相關圖

顏色相關圖(color correlogram)是影象顏色分布的另一種表達方式[16]。這種特徵不但刻畫了某一種顏色的畫素數量佔整個影象的比例,還反映了不同顏色對之間的空間相關性。實驗表明,顏色相關圖比顏色直方圖和顏色聚合向量具有更高的檢索效率,特別是查詢空間關係一致的影象。

如果考慮到任何顏色之間的相關性,顏色相關圖會變得非常複雜和龐大(空間複雜度為o(n2d))。一種簡化的變種是顏色自動相關圖(color auto-correlogram),它僅僅考察具有相同顏色的畫素間的空間關係,因此空間複雜度降到o(nd)。

顏色特徵提取

顏色特徵是在影象檢索中應用最為廣泛的視覺特徵,主要原因在於顏色往往和影象中所包含的物體或場景十分相關。此外,與其他的視覺特徵相比,顏色特徵對影象本身的尺寸 方向 視角的依賴性較小,從而具有較高的魯棒性。面向影象檢索的顏色特徵的表達涉及到若干問題。首先,我們需要選擇合適的顏色空間來描述顏色特徵 其次,...

基於顏色特徵提取數字

最近因為畢業課題的需要,初學opencv,鑽研一周,終於有一點點小小的收穫。編譯環境 vs2013 opencv.4.9 任務 攝像頭識別電梯中已亮的按鈕數字 目的 框選圖中已亮的3和5號按鈕。話不多說,上 rgb直方圖 把r通道分為32個bin int rbins 32 int histsize ...

基於顏色的特徵提取

內容及要求 一 設計說明 基於內容的影象檢索 content based image retrieval,cbir 技術由機器自動提取包含影象內容的視覺化特徵,如顏色 形狀 紋理等,對資料庫中的影象和查詢樣本影象在特徵空間進行匹配,檢索出與樣本相似的影象。其原理框圖如圖1所示。圖1 基於內容的影象檢...