攝像頭isp系統原理（上）
isp(image signal processor)，即影象訊號處理器，用於處理影象訊號感測器輸出的影象訊號。它在相機系統中占有核心主導的地位，是構成相機的重要裝置。
主要內部構成
如下圖所示，isp 內部包含 cpu、sup ip、if 等裝置，事實上，可以認為 isp 是乙個 soc，可以執行各種演算法程式，實時處理影象訊號。
isp 架構
cpu 即**處理器，可以執行 af、lsc 等各種影象處理演算法，控制外圍裝置。現代的 isp 內部的 cpu 一般都是 arm cortex-a 系列的，例如 cortex-a5、cortex-a7。
sub ip 是各種功能模組的通稱，對影象進行各自專業的處理。常見的 sub ip 如 dis、csc、vra 等。
影象傳輸介面主要分兩種，並口 itu 和串列埠 csi。csi 是 mipi csi 的簡稱，鑑於 mipi csi 的諸多優點，在手機相機領域，已經廣泛使用 mipi-csi 介面傳輸影象資料和各種自定義資料。外接 isp 一般包含 mipi-csis 和 mipi-csim 兩個介面。內建 isp 一般只需要 mipi-csis 介面。
通用外圍裝置指 i2c、spi、pwm、uart、watchdog 等。isp 中包含 i2c 控制器，用於讀取 otp 資訊，控制 vcm 等。對於外接 isp，isp 本身還是 i2c 從裝置。ap 可以通過 i2c 控制 isp 的工作模式，獲取其工作狀態等。
主要功能特性
isp 作為影象處理的核心器件，擁有十分重要的功能，下圖展示了 isp 處理影象資料的基本流程。
isp 處理流程
下面針對 isp 的主要功能特性進行下介紹。
l denoise-----去除雜訊
使用 cmos sensor 獲取影象，光照程度和感測器問題是生成影象中大量雜訊的主要因素。同時，當訊號經過 adc 時，又會引入其他一些雜訊。這些雜訊會使影象整體變得模糊，而且丟失很多細節，所以需要對影象進行去噪處理空間去噪傳統的方法有均值濾波、 高斯濾波等。
但是，一般的高斯濾波在進行取樣時主要考慮了畫素間的空間距離關係，並沒有考慮畫素值之間的相似程度，因此這樣得到的模糊結果通常是整張一團模糊。所以，一般採用非線性去噪演算法，例如雙邊濾波器，在取樣時不僅考慮畫素在空間距離上的關係，同時加入了畫素間的相似程度考慮，因而可以保持原始影象的大體分塊，進而保持邊緣。
demosaic 是 isp 的主要功能之一。sensor 的畫素點上覆蓋著 cfa，光線通過 cfa 後照射到畫素上。cfa 由 r、g、b 三種顏色的遮光罩組成，每種遮光罩只允許一種顏色通過，因此每個畫素輸出的訊號只包含 r、g、b 三者中的一種顏色資訊。sensor 輸出的這種資料就是 bayer 資料，即通常所說的 raw 資料。顯而易見，raw 資料所反映的顏色資訊不是真實的顏色資訊。demosaic 就是通過插值演算法將每個畫素所代表的真實顏色計算出來。
光線中主要包含三種顏色資訊，即r、g、b。但是由於畫素只能感應光的亮度，不能感應光的顏色，同時為了減小硬體和資源的消耗，必須要使用乙個濾光層，使得每個畫素點只能感應到一種顏色的光。目前主要應用的濾光層是bayer grbg格式。如下圖所示：
這樣，經過濾色板的作用之後，每個畫素點只能感應到一種顏色。必須要找到一種方法來復原該畫素點其它兩個通道的資訊，尋找該點另外兩個通道的值的過程就是顏色插補的過程。由於影象是連續變化的，因此乙個畫素點的r、g、b的值應該是與周圍的畫素點相聯絡的，因此可以利用其周圍畫素點的值來獲得該點其它兩個通道的值。目前最常用的插補演算法是利用該畫素點周圍畫素的平均值來計算該點的插補值。如下圖所示，左側是raw域原始影象，右側是經過插值之後的影象。
l ccm（color correction matrix）------顏色校正
顏色校正主要為了校正在濾光板處各顏色塊之間的顏色滲透帶來的顏色誤差。一般顏色校正的過程是首先利用該影象感測器拍攝到的影象與標準影象相比較，以此來計算得到乙個校正矩陣。該矩陣就是該影象感測器的顏色校正矩陣。在該影象感測器應用的過程中，可以利用該矩陣對該影象感測器所拍攝的所有影象來進行校正，以獲得最接近於物體真實顏色的影象。
一般情況下，對顏色進行校正的過程，都會伴隨有對顏色飽和度的調整。顏色的飽和度是指色彩的純度，某色彩的純度越高，則其表現的就越鮮明；純度越低，表現的則比較黯淡。rgb三原色的飽和度越高，則可顯示的色彩範圍就越廣泛。
1）色彩校正原理
人眼對色彩的識別，是基於人眼對光譜存在三種不同的感應單元，不同的感應單元對不同波段的光有不同的響應曲線的原理，通過大腦的合成得到色彩的感知。 一般來說，我們可以通俗的用 rgb三基色的概念來理解顏色的分解和合成。理論上，如果人眼和 sensor 對光譜的色光的響應，在光譜上的體現如下的話，基本上對三色光的響應，相互之間不會發生影響，沒有所謂的交叉效應。理想r/g/b光譜響應如下：
而實際人眼對r/g/b的光譜響應如下，rgb的響應並不是完全獨立的。
某款相機的sensor光譜響應曲線如下：
從上圖可以看出，sensor的r/g/b響應曲線和人眼的r/g/b響應曲線是不一致的。而且影象資料經過isp的awb處理之後肯定會存在色偏，因此需要rgb域進行色彩矩陣校正。
2）色彩校正策略
我們已看到 sensor 對光譜的響應，在 rgb各分量上與人眼對光譜的響應通常是有偏差的，當然就需要對其進行校正。不光是在交叉效應上，同樣對色彩各分量的響應強度也需要校正。通常的做法是通過乙個色彩校正矩陣對顏色進行一次校正。校正矩陣如下：
該色彩校正的運算通常由 isp 完成，軟體通過修改相關暫存器得到正確的校正結果。另外隨著色溫的公升高，要對色溫進行較正，否則，物體在這樣的光線條件下所表現出來的顏色就會偏離其正常的顏色，因此需要降低 sensor 對紅色的增益，增加 sersor 對藍光的增益。因此，建議做ccm矩陣時選取不同的色溫生成不同的ccm矩陣，然後根據實際色溫值插值得到當前色溫的ccm矩陣。
手機攝像頭驅動 手機公升降攝像頭的原理
隨著全面屏手機的誕生，越來越多手機都向全面屏發展，劉海屏 水滴屏等還是無法滿足人們需求，於是有商家把前置攝像頭隱藏利用公升降模式來提公升螢幕佔比。公升降攝像頭分別由彈簧 攝像模組 微型電機和乙個三角的連線裝置組成 彈簧的的緩衝作用能減少攝像頭公升降時帶來的振動，核心元件微型電機，讓攝像頭實現公升降作...
深度攝像頭測距原理簡介
深度檢測主要技術方法 1.雙目匹配 雙rgb攝像頭 可選的照明系統 三角測量原理即目標點在左右兩幅檢視中成像的橫座標之間存在的差異 視差disparity 與目標點到成像平面的距離成反比例的關係 z ft d 得到深度資訊。雙目匹配採用三角測量原理完全基於影象處理技術，通過尋找兩個影象中的相同的特徵...
攝像頭程式設計
這是乙個關於設想頭的類 using system using system.runtime.interopservices namespace webcam structlayout layoutkind.sequential public struct bitmapinfoheader struc...