Camera之Demosaic 雙線性插值

2021-08-10 06:05:31 字數 2127 閱讀 9683

1.簡介:

本次分為兩個過程—

a.前面對拿到的raw圖進行了一次無腦demosaic,這次實驗使用雙線性對raw圖進行插值;

b.業界demosaic一般研究方法及評價方法;

2.工具環境

python3.5+pil+numpy+cv2

3. code

a.針對原始raw圖進行雙線性插值

import numpy as np

from pil import image

from pylab import *

import cv2 as cv

import imtool

rawfile = imtool.readrawfile()

rawdata = imtool.getrawdata(rawfile)

demosaicraw = imtool.demosaicraw_bilinear_raw(rawdata)

與無腦demosaic效果比較,左雙線性插值,右無腦插值

b.業界研究方法及評價標準

(1)常用的影象資料集是kodak data,在手機終端上考慮到成本和空間因素,在cmos/ccd感光器件上會附加一層cfa(color filter array),實際得到的原始資料是bayer格式的,即原始raw資料。

kodak data提供lossless真彩無損影象資料,由專業的裝置採集而來,每個pixel的r、g、b都是通過感光器件得到的,影象大小為512*768,每個通道為8bit。

因此可以對真彩影象進行取樣,模擬cfa器件,生成某幅影象的bayer格式的資料,後續通過demosaic演算法還原出rgb影象,評價方法就是將還原出的影象與取樣前的真彩影象使用某些方法(mse/psnr)進行比較,進而評價該演算法的優劣。

(2)對取樣後的bayer格式資料進行雙線性插值,插值方法為:

(3) 通過對比可以發現demosaic後的影象存在拉鍊效應(zipper effect)和很明顯的偽彩(false color)。

通過下面的圖可以很好的解釋為什麼會存在這兩個問題,感興趣的可以自己研究下。

因此demosaic想做好,zipper effect 和 false color去除是必須要考慮進去的,當前的演算法都依賴三個準則:光譜一致性、空間相關性、優先還原g通道等。後續會繼續研究,待續。。。

Demosaic 顏色插值

光線中主要包含三種顏色資訊,即r g b。但是由於畫素只能感應光的亮度,不能感應光的顏色,同時為了減小硬體和資源的消耗,必須要使用乙個濾光層,使得每個畫素點只能感應到一種顏色的光。目前主要應用的濾光層是bayer grbg格式。如下圖所示 bayer pattern 我們當前所有的數位化的camer...

unity基礎學習之camera

認識一下基礎配置 在攝像機進行渲染前,對顏色緩衝及深度緩衝,進行不同控制操作,每個相機在渲染時會儲存顏色和深度資訊。螢幕的未繪製部分是空的,預設情況下會顯示天空盒。當你使用多個相機時,每乙個都將自己的顏色和深度資訊儲存在緩衝區中,還將積累大量的每個相機的渲染資料。當場景中的任何特定相機進行渲染時,你...

camera測試之顏色還原

測試目的 camera對色彩的還原能力 測試主要裝置 24色色卡,燈箱 測試環境 1.d65 cw a光源,照度為600 100lux,整個chart表面的亮度值相差小於10 2.d65光源,照度為20lux,整個chart的表面的亮度相差小於15 測試注意事項 24色卡位於預覽畫面的中心,大小佔整...