華為麒麟990 5G之camera特性分析

2021-10-01 20:32:46 字數 1891 閱讀 9506

2023年9月6日,華為在德國柏林和北京同時發布最新一代旗艦晶元麒麟990系列,包括麒麟990和麒麟990 5g兩款晶元。麒麟990 5g是華為推出的全球首款旗艦5g soc晶元,是業內最小的5g手機晶元方案,面積更小,功耗更低;它可率先支援nsa/sa雙架構和tdd/fdd全頻段,是業界首個全網通5g soc。

麒麟990 5g晶元中有不少亮點,我們只關心其中與camera相關的特性。

下面,我們介紹一下麒麟990 5g中camera三大特性。

麒麟990 5g首次在手機晶元上實現bm3d(block-matching and 3d filtering)單反級硬體降噪技術,首次將單反級的影象處理能力應用在手機上,**降噪能力提公升30%,暗光場景噪點更少,讓手機大片越夜越美麗。

bm3d是2023年tip的文章,題目是image denoising by sparse 3d transform-domain collaborative ltering,**、專案的位址是提供matlab**;為c++的實現,這篇**裡面有對bm3d實現的更為詳細的說明。

處理灰度圖的bm3d以及它的變體cbm3d(彩色圖)、vbm3d(時域)是影象去噪領域公認的去噪效果(psnr)最好的,而bm4d、vbm4d等也都是沿襲bm3d的基於塊處理(block-wise estimate)的思想,但其計算時間複雜度極大,或許只能用於離線處理(offline)。

bm3d演算法是nlm(non-local mean)的公升級版本,因為它主要用到了非區域性塊匹配的思想,首先找相似塊,不同於傳統nlm使用l2距離(ρ = sqrt( (x1-x2)^2+(y1-y2)^2 )),它用了硬閾值線性變換降低了l2距離的複雜度;找到相似塊後,nlm是做乙個均值處理,而bm3d則是將相似塊域轉換,採用協同過濾(collaborative filtering,cf演算法的原理是彙總所有的行為對, 分析不同user的item,找出相似user,向其推薦彼此喜歡的item,利用集體智慧型做推薦。此處既由相似塊共同決定)降低相似塊自身含有的雜訊(nlm做均值,引入了相似塊的雜訊),然後做逆變換,對相似塊加權處理,得到降噪後的目標塊。[1]

bm3d的複雜之處在於,首先找相似塊,其次是採用了兩次基於塊的處理(block-wise estimate),複雜度相比nlm翻了1倍,且含有域變換操作。

麒麟990的bm3d處理結果如下圖所示:

麒麟990 5g是首款採用華為自研達文西架構npu的旗艦級晶元,創新設計npu雙大核(ascend lite x 2)+npu微核(ascend tiny)計算架構。其中,雙大核npu針對大算力場景實現卓越效能與能效,持續重新整理端側ai的效能高點;npu微核為業界首發的創舉,賦能超低功耗應用。

基於isp的能力公升級,麒麟990 5g支援全新炫酷face ar。通過從攝像頭捕獲的人臉影象資料和基於npu執行的神經網路演算法,face ar能夠對人臉進行建模、實時跟蹤、表情捕獲,並且可以進一步分析出人臉資訊背後的諸如心率、呼吸率等健康資料,提供圍繞人臉的豐富的ar增強現實體驗,探索ar應用的更多可能。

華為ME909之4G模組的開發

模組業務整合開發示例v3.0 嚴禁提供第三方 huawei me909s series lte 模組at命令手冊 28v100r001 01 2c chinese 29 at cpin?return cpin ready 說明檢測到 卡,只要是插入 卡,一般就會有訊號的,如何沒有訊號一定要檢測天線的...

2012屆華為上機試題之C語言 排序

給定乙個陣列input 如果陣列長度n為奇數,則將陣列中最大的元素放到 output 陣列最中間的位置,如果陣列長度n為偶數,則將陣列中最大的元素放到 output 陣列中間兩個位置偏右的那個位置上,然後再按從大到小的順序,依次在第乙個位置的兩邊,按照一左一右的順序,依次存放剩下的數。例如 inpu...

2012屆華為上機試題之C語言 排序

給定乙個陣列input 如果陣列長度n為奇數,則將陣列中最大的元素放到 output 陣列最中間的位置,如果陣列長度n為偶數,則將陣列中最大的元素放到 output 陣列中間兩個位置偏右的那個位置上,然後再按從大到小的順序,依次在第乙個位置的兩邊,按照一左一右的順序,依次存放剩下的數。例如 inpu...