根據schrstein和szeliski的總結，雙目立體匹配可劃分為四個步驟：匹配代價計算、代價聚合、視差計算和視差優化。
匹配代價計算的目的是衡量待匹配畫素與候選畫素之間的相關性。兩個畫素無論是否為同名點，都可以通過匹配代價函式計算匹配代價，代價越小則說明相關性越大，是同名點的概率也越大。
每個畫素在搜尋同名點之前，往往會指定乙個視差搜尋範圍
匹配代價計算的方法有很多，傳統的攝影測量中，使用灰度絕對值差（ad，absolute differences）、灰度絕對值差之和（sad，sum of absolute differences）、歸一化相關係數（ncc，normalized cross-correlation）等方法來計算兩個畫素的匹配代價；計算機視覺中，多使用互資訊（mi，mutual information）法、census變換（ct，census transform）法、rank變換（rt, rank transform）法、bt（birchfield and tomasi）法 等作為匹配代價的計算方法。不同的代價計算演算法都有各自的特點，對各類資料的表現也不盡相同，選擇合適的匹配代價計算函式是立體匹配中不可忽視的關鍵步驟。
圖1 dsi示意圖（c(x,y,d)代表畫素(x,y)在視差為d時的匹配代價）
代價聚合的根本目的是讓代價值能夠準確的反映畫素之間的相關性。上一步匹配代價的計算往往只會考慮區域性資訊，通過兩個畫素鄰域內一定大小的視窗內的畫素資訊來計算代價值，這很容易受到影像雜訊的影響，而且當影像處於弱紋理或重複紋理區域，這個代價值極有可能無法準確的反映畫素之間的相關性，直接表現就是真實同名點的代價值非最小。
而代價聚合則是建立鄰接畫素之間的聯絡，以一定的準則，如相鄰畫素應該具有連續的視差值，來對代價矩陣進行優化，這種優化往往是全域性的，每個畫素在某個視差下的新代價值都會根據其相鄰畫素在同一視差值或者附近視差值下的代價值來重新計算，得到新的dsi，用矩陣
實際上代價聚合類似於一種視差傳播步驟，訊雜比高的區域匹配效果好，初始代價能夠很好的反映相關性，可以更準確的得到最優視差值，通過代價聚合傳播至訊雜比低、匹配效果不好的區域，最終使所有影像的代價值都能夠準確反映真實相關性。常用的代價聚合方法有掃瞄線法、動態規劃法、sgm演算法中的路徑聚合法等。
圖1：代價聚合前後視差圖示意圖
視差計算即通過代價聚合之後的代價矩陣
圖2 贏家通吃（wta）演算法示意圖
視差優化的目的是對上一步得到的視差圖進行進一步優化，改善視差圖的質量，包括剔除錯誤視差、適當平滑以及子畫素精度優化等步驟，一般採用左右一致性檢查（left-right check）演算法剔除因為遮擋和雜訊而導致的錯誤視差；採用剔除小連通區域演算法來剔除孤立異常點；採用中值濾波（median filter）、雙邊濾波（bilateral filter）等平滑演算法對視差圖進行平滑；另外還有一些有效提高視差圖質量的方法如魯棒平面擬合（robust plane fitting）、亮度一致性約束（intensity consistent）、區域性一致性約束（locally consistent）等也常被使用。
由於wta演算法所得到的視差值是整畫素精度，為了獲得更高的子畫素精度，需要對視差值進行進一步的子畫素細化，常用的子畫素細化方法是一元二次曲線擬合法，通過最優視差下的代價值以及左右兩個視差下的代價值擬合一條一元二次曲線，取二次曲線的極小值點所代表的視差值為子畫素視差值。如圖3所示。
圖3 二次曲線擬合法子畫素位置計算示意圖
區域性匹配演算法的步驟一般包括匹配代價計算、代價聚合和視差計算三個步驟，全域性演算法則包括匹配代價計算，視差計算與視差優化三個步驟，半全域性演算法sgm則四個步驟都有。
雙目立體匹配
公式 其中資料項描述了匹配程度，平滑項體現了定義場景的約束，c是匹配代價 或稱penalty p是不同兩畫素p和q視差的函式，一般稱之為平滑項 考慮到能量優化問題在一維空間的複雜度是多項式級的，因此一些研究試圖做一些近似來降低演算法的複雜度。例如，半全域性演算法 sgm 就利用了這一特性將二維問題簡...
雙目立體匹配回顧筆記
1.基於視窗的全域性演算法視窗設定問題 匹配是假設表面前向平行的，而事實上與此會違背，另外在不連續的區域背景部分是無法對準的，因此視窗太大不利於匹配的準確性，另外視窗太小的話對於若紋理和重複紋理區域引入更多的outlier，試驗中比較難把握乙個最優值 根據影象區域的性質動態選擇視窗大小是乙個可以考慮...
雙目立體匹配演算法漫談
雙目立體匹配演算法是計算機視覺中比較經典的問題。有大量經典的雙目立體匹配演算法。本文簡要介紹一下雙目立體匹配的常用基本流程，也可以說是套路。第一次寫這麼長的博文，我想到 寫 更詳細內容的可見文章a taxonomy and evaluation of dense two frame stereo c...