攝像機模型 Camera Model

2022-09-11 19:45:13 字數 3749 閱讀 3103

攝像機通過成像透鏡將三維場景投影到攝像機二維像平面上,這個投影可用成像變換描述,即攝像機成像模型。攝像機成像模型有不同描述方式,本節首先介紹機器視覺中的常用座標系,然後介紹攝像機的線性模型和非線性模型。

影象座標系、攝像機座標系和世界座標系

針孔成像模型

非線性模型

攝像機採集的影象在計算機內為mxn陣列,m行n列的影象中的每乙個畫素的數值即是影象點的亮度。如下圖所示,在影象上定義直角座標系u、v,每一畫素的座標\((u,v)\)分別是該畫素在陣列中的列數與行數。所以,\((u,v)\)是以畫素為單位的影象座標系

由於\((u,v)\)只表示畫素位於陣列中的列數與行數,並沒有用物理單位表示出該畫素在影象中的位置。因此需要再建立以物理單位(如公釐)表示的影象座標系。該座標係以影象內某一點\(o_1\)為原點,x軸和y軸分別與u、v軸平行,如上圖所示。其中\((u,v)\)表示以畫素為單位的影象座標系的座標,\((x,y)\)表示以公釐為單位的影象座標系的座標。在x、y座標系中,原點\(o_1\)定義在攝像機光軸與影象平面的交點,該點一般位於影象中心處,但由於某些原因,也會有些偏離,若\(o_1\)在u、v座標系中座標為\((u_0, v_0)\),每乙個畫素在x軸與y軸方向上的物理尺寸為dx、dy,則影象中的任意乙個畫素在兩個座標系下的座標有如下關係:

\( \left\ u = \frac + u_0 \\ v = \frac + v_0 \end\right. \)

為以後使用方便,用齊次座標與矩陣形式將上式表示為

\(\begin u \\ v \\ 1 \end = \begin \frac \ 0 \ u_0 \\ 0 \ \frac \ v_0 \\ 0 \ 0 \ 1 \end \begin x \\ y \\ 1 \end \)

攝像機成像幾何關係可下圖表示,其中o點成為攝像機光心,x軸和y軸與影象的x軸和y軸平行,z軸為攝像機光軸,它與影象平面垂直。光軸與影象平面的交點即為影象座標系的原點,由點o與x、y、z軸組成的直角座標系稱為攝像機座標系。\(oo_1\)為攝像機焦距。

由於攝像機可安放在環境中的任意位置,在環境中選擇乙個基準座標系來描述攝像機的位置,並用它描述環境中任何物體的位置,該座標系稱為世界座標系。它由\(x_w\)、\(y_w\)、\(z_w\)軸組成。攝像機座標系與世界座標系之間的關係可以用旋轉矩陣r和平移向量t來描述。因此,空間中某一點p在世界座標系與攝像機座標系的齊次座標如果分別是\(x_w=(x_w, y_w, z_w, 1)^t\)與\(x = (x, y, z, 1)^t\),則存在如下關係:

\(\begin x \\ y \\ z \\ 1 \end = \begin r \ t \\ 0^t \ 1 \end \begin x_w \\ y_w \\ z_w \\ 1 \end = m_2\begin x_w \\ y_w \\ z_w \\ 1 \end \)

其中,\(r \)為\(3 \times 3\)正交單位矩陣;\(t\)為三維平移向量;\(0 = (0, 0, 0)^t\);\(m_2\)為\(4 \times4 \)矩陣

針孔成像模型又稱為線性攝像機模型。空間任何一點p在影象中的成像位置可以用針孔成像模型近似表示,即任何點p在影象中的投影位置p,為光心o與p點的連線op與影象平面的交點。這種關係也稱為中心射影或透視投影(perspective projection)。由比例關係有如下關係式:

\(\left\ x = \frac \\ y = \frac \end\right. \)

其中,\((x,y)\)為p點的影象座標;\((x, y, z)\)為空間點p在攝像機座標系下的座標,\(f\)為\(xy\)平面與影象平面的距離,一般稱為攝像機的焦距。用齊次座標和矩陣表示上述透視投影關係

\(s\begin x \\ y \\ 1 \end = \begin f \ 0 \ 0 \ 0 \\ 0 \ f \ 0 \ 0 \\ 0 \ 0 \ 1 \ 0 \end \begin x \\ y \\ z \\ 1 \end = p \begin x \\ y \\ z \\ 1 \end \)

其中,s為一比例因子,p為透視投影矩陣。將第一節中的矩陣公式代入上式,得到以世界座標系表示的p點座標與其投影點p的座標\((u,v)\)的關係

\(s\begin u \\ v \\ 1 \end = \begin \frac \ 0 \ u_0 \\ 0 \ \frac \ v_0 \\ 0 \ 0 \ 1 \end \begin f \ 0 \ 0 \ 0 \\ 0 \ f \ 0 \ 0 \\ 0 \ 0 \ 1 \ 0 \end \begin r \ t \\ 0^t \ 1 \end \begin x_w \\ y_w \\ z_w \\ 1 \end = \begin a_x \ 0 \ u_0 \ 0 \\ 0 \ a_y \ v_0 \ 0 \\ 0 \ 0 \ 1 \ 0 \end \begin r \ t \\ 0^t \ 1 \end \begin x_w \\ y_w \\ z_w \\ 1 \end = m_1 m_2 x_w = mx_w \)

其中,\(a_x = f / dx\)為u軸上尺度因子,或稱為u軸上歸一化焦距;\(a_y=f / dy\)為v軸上的尺度因子,或成為v軸上歸一化焦距;\(m\)為\(3 \times 3\)矩陣,成為投影矩陣;\(m_1\)由\(a_x\)、\(a_y\)、\(u_0\)、\(v_0\)決定,由於這四個引數只與攝像機內部引數有關,稱這些引數為攝像機內部引數;\(m_2\)由攝像機相對於世界座標系的方位決定,稱為攝像機外部引數。確定某一攝像機的內外引數,稱為攝像機標定

由上式可知,如果已知某空間點p的影象點p的位置\((u,v)\),即使已知攝像機的內外引數,\(x_w\)也是不確定的。事實上,由於\(m\)是\(3 \times 4 \)不可逆矩陣,當已知\(m\)和\((u,v)\)時,消去z只可得到關於\(x_w\)、\(y_w\)、\(z_w\)的兩個線性方程,由著兩個線性方程組成的方程組即為射線op的方程,也就是說,投影點為p的所有點均在該射線上。當已知影象點p時,由針孔成像模型,任何位於射線op上的空間點的影象都是p點。因此,該空間點是不能唯一確定的。

\( \left\ x=x'+\delta x \\ y = y' +\delta y \end\right. \)

其中,\( \delta x\)和\(\delta y\)是非線性畸變值,它與影象點再影象中的位置有關。理論上鏡頭會同時存在徑向畸變和切向畸變。但一般來講切向畸變比較小,徑向畸變的修正量由距影象中心的徑向距離的偶次冪多項式模型來表示

\(\left\ \delta x = (x'-u_0)(k_1 r^2+k_2 r^4 + \cdots \\ \delta y = (y'-v_0)(k_1 r^2 + k_2 r^4 + \cdots \end\right. \)

其中,\(u_0, v_0\)是主點位置座標的精確值,而

\(r^2 = (x'-u_0)^2 + (y'-v_0)^2 \)

表明x方向和y方向的畸變相對值\(\delta x / x, \delta y / y\)與徑向半徑的平方成正比,即在影象邊緣處的畸變較大。對一般機器視覺,一階徑向畸變已足夠描述非線性畸變,即省略上式中大於等於4的高次項。

線性模型引數\(\alpha _x\)、\(\alpha _y\)、\(u_0\)、\(v_0\)與非線性畸變引數\(k_1\)和\(k_2\)一起構成了攝像機非線性模型的內部引數。

透視攝像機模型

最常用的透視相機模型是假設乙個針孔投射系統,影象由來自物體的光線穿過透鏡中心 投影中心 的交叉形成,並存在乙個焦平面。t 為相機座標系下乙個實物點的物理座標,p u,v t為其投影圖像的影象座標 畫素 c為相機的光心,即投影中心。從3d世界到2d影象的對映由透視投影方程給出 uv 1 kp u000...

攝像機成像模型

攝像機成像模型表達了三維世界某點的幾何座標與攝像機所得影象上的相應點座標的相互關係,建立適合的攝像機成像模型是三維測量中的重要步驟。攝像機成像模型通過一系列座標系來描述在空間中的點與該點在像平面上的投影之間的相互關係 世界座標系 世界座標系是指客觀世界下的一種絕對座標系 攝像機座標系 攝像機座標系是...

攝像機成像 畸變模型

成像的過程實質上是幾個座標系的轉換。首先空間中的一點由世界座標系轉換到攝像機座標系,然後再將其投影到成像平面 攝像機的ccd 最後再將成像平面上的資料轉換到影象平面 最後生成的影象 圖1 1 世界空間內的乙個點在影象上成像的過程稱為投影成像過程,這中間轉換過程構成的矩陣m稱為投影矩陣。攝像機的畸變引...