雙目立體匹配在尋找同名點的過程中，若沒有任何先驗約束，則對左影像每個畫素，需要在右影像全圖空間中進行搜尋，這種暴力搜尋方法不僅效率非常低，而且很容易由於各種因素（如弱紋理、重複紋理等）搜尋到錯誤的對應點，而利用核線幾何約束則是減小搜尋範圍，提高匹配效率且降低錯誤匹配的一種有效方法。在攝影測量中，核線是核平面與兩張影像的交線，核平面是物方點與兩個相機中心共同所在的平面，而核線約束描述的是物方點在兩張影像上的投影像點一定在同乙個核平面上，進而可以推導出，左影像上每個畫素點在右影像上的同名點一定在該像點所在核平面與右影像的交線（即核線）上。核線約束將原先二維的搜尋空間縮小至一維的核線空間，大大的減小了搜尋範圍，是提高匹配效率的十分有效的約束。核線約束的描述如圖1所示。
圖1 核線約束示意圖
從圖1還可以看到，在左影像中同乙個核面相交的核線上所有畫素都對應右影像上同一條核線，形成以核線為單位的對應關係，如果能夠找出所有的對應核線對，那麼匹配將變得更加方便，雙目立體視覺中通過核線糾正來完成這一步驟，通過標定好的相機引數，將影像投影至與基線平行的平面上，讓兩個相機的主光軸相互平行，使得核平面與兩張影像的交線位於同乙個掃瞄行，這樣同一核線對位於兩張影像的同一行，即同名點對的行號一定相等，只存在列號的差異。圖2為核線糾正的示意圖。
圖2 核線糾正示意圖
核線糾正之後的影象同名點只存在列號的差異，這種差異就稱為視差（嚴謹來說是列方向視差，因為行方向視差通過糾正消除，所以對於核線像對，視差就指列方向視差），具體來說，視差等於同名點在左影像上的列號減去在右影像上的列號。在核線糾正後，相機座標系的x軸與基線平行，z軸與像平面垂直，如圖3所示，
圖3 深度與視差
通過三角形
式1 深度與視差
進而推導出
式2 深度與視差2
式2中，
圖4 航空影像與近景影像的視差圖示意圖
雙目立體匹配
公式 其中資料項描述了匹配程度，平滑項體現了定義場景的約束，c是匹配代價 或稱penalty p是不同兩畫素p和q視差的函式，一般稱之為平滑項 考慮到能量優化問題在一維空間的複雜度是多項式級的，因此一些研究試圖做一些近似來降低演算法的複雜度。例如，半全域性演算法 sgm 就利用了這一特性將二維問題簡...
雙目視覺焦距 雙目視覺系統的原理和設計
雙目立體視覺是機器視覺的一種重要形式，它是基於視差原理並由多幅影象獲取物體三維幾何資訊的方法。雙目立體視覺系統一般由雙攝像機從不同角度同時獲得被測物的兩幅數字影象，或由單攝像機在不同時刻從不同角度獲得被測物的兩幅數字影象，並基於視差原理恢復出物體的三維幾何資訊，重建物體三維輪廓及位置。雙目立體視覺原...
雙目立體匹配回顧筆記
1.基於視窗的全域性演算法視窗設定問題 匹配是假設表面前向平行的，而事實上與此會違背，另外在不連續的區域背景部分是無法對準的，因此視窗太大不利於匹配的準確性，另外視窗太小的話對於若紋理和重複紋理區域引入更多的outlier，試驗中比較難把握乙個最優值 根據影象區域的性質動態選擇視窗大小是乙個可以考慮...