分類專欄： 原理解析
雙目測距
雙目攝像機是採用兩個攝像機同時執行來感知周圍的環境，雙目攝像機組成的視覺系統的優勢顯而易見，雙目系統相比於單目系統可提取到更多與真實世界環境有關的資訊，尤其是目標實物的深度資訊。雙目視覺系統甚至還可以在攝像機校準不精確的情況下正常還原觀測點的深度，將人為造成的誤差降到最低。這裡，我們簡單描述一下雙目相機獲取深度資訊的原理。
乙個物體在雙目攝像機中的成像形式如下圖所示：
其中，焦距 f 和基準線 b 是相機的已知引數，目的就是求物體p與攝像機中心的距離，即深度值z。根據三角形相似原理，得：
由公式（1）得，
將x代入公式（2）中，可得
即求出了實物深度z和視差d=x_l-x_r之間得關係。只要研究出x_l和x_r之間的關係，就可以測出物體的深度值了。
雙目測距實際操作主要分為4個步驟：
相機標定——雙目校正——雙目立體匹配——計算深度
相機標定：相機標定分為單目標定和雙目標定，單個攝像頭的標定主要是計算出攝像頭的內參（（焦距f，1/dx，1/dy，cx，cy）其中dx和dy是相機單個感光單元晶元的長度和寬度，cx和cy分別代表相機感光晶元的中心點在x和y方向上可能存在的偏移)以及五個畸變引數（攝像頭由於光學透鏡的特性使得成像存在著徑向畸變，可由三個引數k1,k2,k3確定；由於裝配方面的誤差，感測器和光學鏡頭之間並非完全平行，因此成像存在切向畸變，可由兩個引數p1,p2確定。一般只需要計算出k1,k2,p1,p2，對於魚眼鏡頭等徑像畸變特別大的才需要計算k3）還有外參（相對世界座標系的旋轉矩陣r和平移向量t）。而雙目標定首先需要分別獲取左右相機的內外引數，之後通過立體標定對左右兩幅影象進行立體校準和對齊，最後確定兩個相機的相對位置（右攝像頭相對於左攝像頭的旋轉矩陣r、平移向量t，和中心距等）。
具體標定方法和過程參照：
雙目校正：（極線約束：空間中任意一點在影象平面上的投影點，必然處於由該點和兩個攝像頭中心組成的對極平面上。對於影象上的某乙個特徵點，其在另乙個檢視上的匹配點必處於對應的對極線上，這稱為極線約束。極線約束使得特徵匹配由二維搜尋降低到一維搜尋，從而大大加快計算速度，並且減少誤匹配。）雙目校正是根據攝像頭標定後獲得單目內參資料（焦距，成像原點，畸變引數）和雙目相對位置關係（旋轉矩陣和平移向量），分別對左右檢視進行消除畸變和行對準，使得左右試圖的成像原點座標一致、兩攝像頭光軸平行、左右成像平面共面、對極線行對齊（使得兩幅影象的對極線恰好在同一水平線上），這樣一幅影象上任意一點與其在另一幅影象上的對應點就必然具有相同的行號，只需要對該行進行一維搜尋即可匹配到對應點。
雙目立體匹配：雙目匹配的作用是把同一場景在左右檢視上對應的像點匹配起來，這樣做的目的是為了得到視差圖。雙目匹配被普遍認為是立體視覺中最困難也是最關鍵的問題。
雙目立體匹配深度資訊估計演算法的核心為立體匹配演算法,其總體可分為基於區域性的立體匹配演算法和基於全域性的立體匹配演算法兩大類。基於區域性的立體匹配演算法利用對應點本身以及鄰近的區域性區域的資訊來進行匹配計算,所涉及的資訊量較小,其優點是計算效率高,在高紋理區域能夠很快得到視差圖,但是遮擋區域和視差不連續區域的匹配精度不高,易產生誤匹配。一般將其分為基於區域的立體匹配演算法、基於特徵的立體匹配演算法和基於相位的立體匹配演算法。基於全域性的立體匹配演算法是採用對掃瞄線或者整幅影象進行約束,著重解決影象中不確定區域的匹配問題,能達到全域性最優解,其本質是應用能量函式(包括資料項和平滑項),尋找全域性最優解。其特點是匹配精度高,計算量大,計算代價高,不適於實時性要求較強的應用場合。基於全域性的匹配演算法主要有圖割法、動態規劃法、基於置信度傳播的匹配演算法、基於人工智慧的匹配演算法等。
在不同的應用場合、從不同的角度以及對立體匹配本身的不同理解,產生出不同的立體匹配演算法,但影象立體匹配的過程基本上相同。根據scharstein主要將其歸納為四個步驟:(1)匹配代價計算;(2)匹配代價聚合;(3)視差計算;(4)視差求精。
計算深度：得到視差資料，通過上述三角形原理中的公式就可以很容易的計算出深度資訊。
雙目測距測深度 科普 雙目測距原理
參考資料 1 深度相機原理揭秘 雙目立體視覺 2 雙目測距原理 3 相機標定原理及實現 1 雙目測距基本原理 如圖所示，p點是待測物體，camera r和camera l代表相機的光心位置，兩綠點為點p在兩個相機感光器上的成像點，f為相機焦距，b為兩相機中心距，z為所求深度資訊，兩綠點間距為d。d ...
攝像機的工作原理
光學系統的主要部件是光學鏡頭，它由透鏡系統組合而成。這個透鏡系統包含著許多片凸凹不同的透鏡，其中凸透鏡的中比邊緣厚，因而經透鏡邊緣部分的光線比 部分的光線會發生更多的折射。當被攝物件經過光學系統透鏡的折射，在光電轉換系統的攝像管或固體攝像器件的成像面上形成 焦點 光電轉換系統中的光敏原件會把 焦點 ...
攝像機標定
利用攝像機所拍攝到的影象來還原空間中的物體。在這裡，不妨假設攝像機所拍攝到的影象與三維空間中的物體之間存在以下一種簡單的線性關係 像 m 物 這裡，矩陣m可以看成是攝像機成像的幾何模型。m中的引數就是攝像機引數。通常，這些引數是要通過實驗與計算來得到的。這個求解引數的過程就稱為攝像機標定。中文名 攝...