雙目立體匹配回顧筆記

2021-06-01 23:26:37 字數 1058 閱讀 8227

1. 基於視窗的全域性演算法視窗設定問題(匹配是假設表面前向平行的,而事實上與此會違背,另外在不連續的區域背景部分是無法對準的,因此視窗太大不利於匹配的準確性,另外視窗太小的話對於若紋理和重複紋理區域引入更多的outlier,試驗中比較難把握乙個最優值)根據影象區域的性質動態選擇視窗大小是乙個可以考慮的方向;

2.box-filtering技術基於相鄰畫素的視窗關係增量求解視窗aggregation,提高效率

3.shiftable window(slide p81)減少fix window邊界處定位的困境,取消了視窗以所求畫素為中心的限制(根據區域性的連續性靈活選擇視窗,當然refrence image 和target image之間要保持一致)

4.後面的各種視窗取法都是為了更好地handle不連續和遮擋的問題,視窗的選擇更多是基於更多的計算比較score選擇最優的,基於計算還是有些盲目,解決這些問題最合適的對影象基於顏色區域性相似性進行分割,影象分割在cost aggregation, disparity refinement, outliers detection 中很有用,因為在此時所使用的假設條件放鬆了,在實際中更容易滿足(在每乙個segment深度是平滑變化的,而不是之前在整個影象區域的假設),實際操作是非對稱的只對參照影象進行分割,確定視窗權值是對於在允許的最大視窗範圍內的每乙個畫素進行標記,與中心畫素屬於同乙個segement的為1,否則遠小於1,然後在target image中取同樣的分布..(影象分割也採取對稱的策略確實也不好利用target image的分割資訊)    引申-》adaptive weight(隱式的達到了分割的效果)根據空間資訊(畫素距離)和顏色距離確定權值,結合tad有不錯的效果(雙邊濾波思想的移植slide p95)

想法:設計權值結合分割和雙邊權重?

5.locally consistent (lc),探索相鄰畫素之間的深度關係,對連續性約束進行顯示建模,在不連續邊界附近和若紋理區域重構效果有明顯改善;lc+fbs表現的很好,fbs先對不連續區域進行了比較好的建模,後面使用lc對內部連續區域和邊界附近進行加強,結合的很好

6.全域性視差優化e(data)可以取前面各種方法求得的值(作為初始迭代?)dp在邊界和若紋理區域表現得很好,但會帶來條紋效應

雙目立體匹配

公式 其中資料項描述了匹配程度,平滑項體現了定義場景的約束,c是匹配代價 或稱penalty p是不同兩畫素p和q視差的函式,一般稱之為平滑項 考慮到能量優化問題在一維空間的複雜度是多項式級的,因此一些研究試圖做一些近似來降低演算法的複雜度。例如,半全域性演算法 sgm 就利用了這一特性將二維問題簡...

雙目立體匹配演算法漫談

雙目立體匹配演算法是計算機視覺中比較經典的問題。有大量經典的雙目立體匹配演算法。本文簡要介紹一下雙目立體匹配的常用基本流程,也可以說是套路。第一次寫這麼長的博文,我想到 寫 更詳細內容的可見文章a taxonomy and evaluation of dense two frame stereo c...

立體匹配 立體匹配過程

立體匹配就4個步驟 匹配代價計算,代價聚合,計算視差,視差精化 匹配代價計算 一般是通過計算左右兩圖對應畫素3個通道的灰度值差來決定匹配代價的,常用的就是基於畫素點匹配代價計算,一般有ad,sd,tad什麼的,基於區域的匹配代價計算一般有sad,ssd,stad之類的。匹配代價計算會生成乙個disp...