網際網路 工業視覺分析

2021-09-21 23:19:09 字數 3917 閱讀 1720

我國工業網際網路已經形成「三條途徑」:一是打造智慧型工廠,提高企業內部生產效率,就是通過我們現在網際網路技術以及一些相關的機器視覺、圖象演算法、模式識別的方式,提高企業的生產效率;二是打造智慧型產品,延伸企業外部的價值鏈;三是匯聚產業鏈資源,實現向平台運營的轉變,打造資料驅動的生態運營能力。

在端+雲解決方案中我們分成兩個方面,一是本地端,一是雲端。在本地端中分成兩部分:乙個是資料層,資料層在一些生產裝置以及相應的業務系統中實時會場生成的資料;乙個是本地執行層,產生的資料經過本地執行層,執行層實時獲取資料,獲取資料之後,一方面進行資料的儲存,另一方面對獲取到的資料進行模型計算,計算完之後進行決策,決策後又可以進行下一輪的操作。

在雲端接收到離線的序列資料,在雲端基於maxcompute大資料平台進行乙個模型分析及模型序列,序列之後把更新的模型再下發到本地進行更新,依次迴圈可以不斷的提高系統能力。

人類對世界的認知非常簡單,我們可以一眼看出乙個水果是蘋果還是橘子。但換成計算機,怎麼寫個程式讓機器來分辨人和貓、蘋果和橘子呢?

實際上在我們考慮的過程中,可以基於以下幾個方面進行思考,首先以我們最直觀的方式來看,比如說顏色、形狀、紋理、邊緣輪廓等,轉換成計算機,我們通過顏色直方圖把最低的三個分量特徵都提取出來,蘋果是偏向紅色,橘子是偏向橙色,這樣可以分析出來;然後再通過形狀,比如把某省地圖輪廓提取出來作為乙個特徵,利用圖象中心到輪廓的距離作為乙個距離特徵;

再高一層次可以進行結構特徵,基於底層的特徵,一些邊緣、形狀進行乙個結構分析。最左邊的結構特徵實際上是乙個心理學圖,不同的人看到的維度不同,有一些人看到的是白色的乙個酒杯,但是換成另外一些人去看,這是兩個面對面的人臉,這種通過圖象分析可以把結構提出來,然後右邊菱形的結構,以及一些知識相簿的紋理結構,都是結構特徵。

前面是傳統的圖象處理常用方法,現在大多採用基於深度學習的特徵提取方法。深度學習的方法相對來說比較簡單,就是把我們輸入的圖象扔進網路,每個網路對不同的過程進行乙個迭代訓練。在我們的網路前期,像一些低階的特徵比如簡單的邊緣紋理特徵,在中間部分我們就可以學到乙個相對高階一點的結構特徵,比如說我們做人臉識別的時候,是可以把裡面的一些眼睛、嘴巴、耳朵等提取出來,再往高處走可以得到,最後就可以把物體的模型給訓練出來,比如說訓練出人臉的大致輪廓,這是通過深度學習方法提取的特徵。

特徵提取完之後,進行異常檢測分析。以上圖作為乙個例子,眾裡尋他千百次,那豬躲在人堆裡。圖中目標是讓我們在圖裡面去找出哪乙個是與其他不一樣,用前面的分析方法可以找,比如說我們用顏色來找,笑臉黃色的,我們要把所有黃色基於顏色去找,從上到下、從左到右找到顏色不一樣的,這個顏色是可以找出來的。人的笑臉、嘴的圖象也可以找出。還有乙個整個特徵,比如說整個定位下來去找。在工業場景中,有很多的場景跟這個是很相似的,為什麼呢?因為工業場景中會有一些異常的目標異常分析,異常分析跟上圖是挺相似的,旁邊我們都認為是乙個正常的物體,結果突然之間冒出乙隻豬,肯定是異常的目標,在工業中也是一樣,我們就是要把異常目標給自動定位分類出來。

對於異常目標分析,首先是要進行乙個模型訓練,模型訓練過程是這樣的,先是對獲取到的圖象進行特徵提取,比如說像一些顏色紋理、一些結構,甚至是用一些深度學習的方法自動去提取特徵,提取特徵之後建立模型,得到乙個模型表示式,比如說我們模型可以用圖中這個分布函式來表示,模型的分布形式跟我們建立的方法有關係,我們可能是用一些資訊方法,也有可能是二維的曲面,或者多維的曲面。

以二維的平面為例,假設模型提取的特徵為x1,x2 ,我們學到的模型是乙個分類面,分類面裡面有乙個正常的樣本,同時假設x1,x2正相關,即x1越大,x2也就越大,通過模型計算可以將紅色的異常點自動檢測出來。現在對待這種異常,在分類面之外我們可以自動的分出來。

模型訓練完之後肯定要進行使用,使用的時候先把訓練好的模型部署到產線上,產線上啟動後實時對圖象進行獲取,然後進行特徵提取,經過模型輸出最終的決策。在一些產線的分析過程中,實時去監測一些關鍵的曲線,對這些曲線進行視覺化的實時輸出結果,比如圖中這些曲線,我們在做的過程中的一些關鍵因素通過曲線的方式列印出來。

通過曲線可以去回判維繫,比如說我們是哪乙個產線,或者是哪一台機器出了問題,然後這個曲線跟歷史相對應的會出現一些異常,利用曲線實時去決策,以及可以根據一些歷史的資訊去判斷,這些機器是什麼時候開始出現這些故障的。

圖為某產線元器件異常焊接異常自動定位、分析結果,我們在整個過程中,首先從產線中獲取到圖象,對圖象進行圖象分割,分割完之後得到元器件的座標位置,如右邊綠色框是我們定位下來的乙個元器件,定位元器件之後進一步分析,進一步定位分析焊點,得到焊點的圖象,在這個焊點圖象輸入分類器進行分類,然後識別出來。通過這個決策,最終決策出正常和異常的,圖中藍色框代表正常的焊點,紅色框就是異常焊點。

另外,在我們一些實際案例中會碰到一些比較惡劣的環境,比如說一些環境下,在生產產線上有一些是有毒的,還有高溫、高壓、高輻射的一些場景,這種情況用人眼或者一些可見光的攝像頭是很難觀察出來的。我們採用紅外熱感相機進行分析,獲取到紅外熱感應的圖象結果圖,對這個結果圖再進行圖象分割,分割完之後就可以得到對應的容器位置,然後我們對容器的位置內部再進行乙個異常分析,就可以得到異常區域,然後對異常區域進行分類,因為雜質有多種多樣,有液體的、固體的,最終可以得到乙個決策結果,可以返推回去是什麼原因造成這個結果的。

我們還有產線管道熱輻射管道監控,在產線有一些燃油傳輸管道,還有一些特殊液體的傳輸管道,我們要實時去監控,液體經過有乙個溫度,如果溫度過高,很容易會造成產線管道的快速老化,一些老化之後會爆開或者裂開滲漏出來,我們採用紅外方式獲取乙個實時圖象,然後對圖象再進行分割,之後再進行乙個標註,像藍色代表數字方向的乙個管道,綠色是橫向的乙個管道。標註完之後對應標註管道進行曲線的監控,得到右邊的工作監控圖,通過這個圖就可以知道管道的實時溫度,以及相關的監控值。這樣可以繼續幫助廠商從歷史體系圖中檢視相關的情況。

演算法流程相關主要是找乙個差異度大的,獲取到每乙個象素,對每乙個象素與我們背景模型進行比較。在一段時間內變化是比較緩慢的,在變化緩慢的範圍之內,它肯定是比較平穩的,我們可以認為它是乙個背景的區域。對於我們前景的區域,比如說突然闖入的人,或者乙隻動物,歷史的時間以及現在的時間會產生乙個比較大的差異值,通過這個差異值就可以得到每乙個點對應的模型變化情況,得到每乙個點的變化情況之後,把這些前景區域連線起來,就得到乙個分割目標。我們還要考慮到時間維度,這個前景從歷史到現在,它經過了哪一些路徑,它是什麼狀態,減速、加速等狀態,我們通過時間軸上的曲線可以畫出來,還可以進行一些id號關聯,像這種在我們日常生活中,比如說一些智慧型交通、產線的物體追蹤等方面大量的用到。

某半導體行業的實例如圖,產線對我們生產過程中的元器件進行統計,在生產過程中先進行乙個背景建模,背景建模之分割出前景區域,分割出來之後,由於這個場景中提倡一些背景的干擾,或者一些我們不需要的,不用的我們通過目標預處理得到乙個具體的前景目標,然後對前景目標再進行一次定位,最終可以得到統計識別結果,這樣可以得到實時監控生產產量。

工業網際網路後台開發

jsonformat pattern yyyy mm dd hh mm ss timezone gmt 8 datetimeformat pattern yyyy mm dd hh mm ss private date time jsonformat 預設是標準時區的時間,多出現少8小時的情況 使用...

工業網際網路 網企 製造產業誰才是工業網際網路主角?

可是製造業卻不這樣認為。在本月初的第五屆世界網際網路大會上,富士康董事長郭台銘就表示,與阿里雲相比,製造業出身的富士康更懂製造業,更適合做工業網際網路。顯然,無論是網際網路還是製造業,當下的風口都變了,從面向消費者變成面向企業和行業的數位化轉型。於是,看似不相干的兩個行業竟然有了陣營之爭。中國工程院...

飛象工業網際網路平台

飛象工業網際網路平台,將網際網路開發 雲計算 邊緣計算 嵌入式開發等技術進行重新封裝,降低使用者在生成工業網際網路應用時的學習成本,提高開發效率。使工業使用者可以快速地在平台上完成包括裝置資產管理,遠端運維,生產管理等一系列工業網際網路應用的開發,並可以一鍵發布為網際網路應用,實現一站式的應用開發與...