本文翻譯的外國學者的乙份talk，主要內容是關於立體視覺演算法和應用的基礎知識。限於個人水平，如有疏漏之處請諒解。
1、介紹
2、立體視覺系統概述
3、視覺匹配演算法
4、計算優化
5、硬體實現
6、應用
匹配陷阱
光學扭曲和噪音：影象在成像時會發生扭曲和噪音干擾；
a)高光區域：由於光照的原因，兩幅影象的高光區可能並不一致；
b)透視收縮、失真：由於透視原理，影象會發生收縮與失真；
c)模糊/歧義區域：模稜兩可的匹配往往發生在影象某部分不均勻或者重複率較高的區域；
d)透明物體：影象中含有透明物體會對匹配產生干擾；
e)遮擋和不連續：由於兩個相機和
物體本身
放置的位置會造成遮擋，使所成的像不連續並且某一部分一幅影象中存在而另一幅影象中不存在。
匹配步驟
根據一般的分類方法，大多數的匹配演算法步驟包含：1)匹配代價計算、2)代價聚合、3)視差計算/優化、4)視差調整等幾個步驟。
為了減小影象的畸變所造成的影響，在匹配前常常會進行影象的預處理。常用的方法有log濾波、均值濾波、雙邊濾波、統計變換等方法。以下
示例一種簡單的匹配演算法：在參考影象中選取一點x，在目標影象中選取對應位置的點。根據極線約束，匹配的點必定在極線之上，那麼在最大視差範圍的點集[x,x+d(max)]中選取匹配點即可。其中匹配代價設定為兩個畫素點之差的絕對值，視差計算採用的畫素點為代價值最小(wta:winner takes all)的點。
根據策略的不同，演算法了通常分為兩類：局域演算法和全域性演算法。其中局域演算法往往包含1.2.3幾個步驟，而全域性演算法可能會省去2。局域演算法會通過乙個支援視窗進行代價聚合以減少歧義性(提高性噪比snr)然後採用簡單的wta策略來進行視差值選擇,有時也會在步驟中加入平滑項；全域性演算法利用基於畫素匹配代價來最小化全圖能量函式(e=e(data)+e(smooth))以尋找視差分配，其中的匹配代價有時會採用基於視窗支援的代價聚合方式。
在上述兩類演算法中都或明或暗的存在乙個假設前提：影象是分段平滑的。
匹配代價
(1)基於畫素的匹配代價
差值的絕對值(absolute differences)：
差值的平法(squared differences)：
m-estimators：一類帶魯棒的匹配測度方法，限制了奇點(干擾點)的影響。例如：tad(truncated absolute differences)
針對影象取樣不敏感的(2)基於區域的匹配代價差異性測度：
差值絕對值之和(sum of absolute differences (sad)
差值平方之和(sum of squared differences (ssd))：
常用的方法還有normalized cross correlation，zero mean normalized cross correlation，gradient based mf，non parametric，mutual information等。
立體視覺入門
與以往的座標系維度對應向量維度不同，齊次座標就是將乙個原本是n維的 向量用乙個n 1維向量來表示。例如，二維點 x,y 的齊次座標表示為 hx,hy,h 當然，乙個向量的齊次表示是不唯一的，齊次座標的h取不同的值都表示的是同乙個點，比如齊次座標 8,4,2 4,2,1 表示的都是二維點 4,2 那麼...
StereoVision 立體視覺（3）
cvlibs.net datasets kit ti eval stereo flow.php?benchmark stereo 另乙個是middlebury http vision.middlebury.edu s tereo 兩個 上的演算法都交叉，但是又不完全一樣 代價聚合 cost aggr...
雙目立體視覺的發展
雙目立體視覺的發展 machinevision 雙目立體視覺是計算機視覺的乙個重要 分支，即由不同位置的兩台或者一台攝像機攝影測量學的傳統裝置標定法。利用至少17個引數描述 雙目立體視覺是計算機視覺的乙個重要分支，即由不同位置的兩台或者一台攝像機攝影測量學的傳統裝置標 定法。利用至少17個引數描述攝...