開源人工智慧使用卷積網格自動編碼器生成3d面部介紹：人臉在形狀上變化很大，因為它受到諸如年齡，性別，種族等許多因素的影響，並且隨著表情而顯著變形。現有技術的3d人臉表示主要使用線性變換[40,28,41]或更高階張量概括[45,12,14]。這些3d人臉模型有多種應用，包括人臉識別[39]，生成和動畫人臉[28]以及從影象中估計3d人臉[43]。然而，由於這些模型是線性的，它們不會捕獲由於極端面部表情引起的非線性變形。這些表達對於捕捉3d臉部的真實感至關重要。
與此同時，卷積神經網路（cnns）已成為生成影象[22,34]，音訊[33]等的豐富模式。其成功的原因之一歸因於cnn的多尺度層次結構。允許他們學習平移不變的區域性特徵。最近的工作已經探索了用於3d表示的體積卷積[8]。但是，體積操作需要大量記憶體，並且僅限於低解析度3d卷。對3d網格進行建模卷積可以實現記憶體效率，並允許處理高解析度3d結構。然而，cnn大多數在歐幾里得域中已經成功地使用基於網格的結構化資料，並且cnn到網格的泛化並非無足輕重。將cnn擴充套件到圖形結構和網格最近才引起了人們的極大關注[11,17,10]。 cnn中的層級操作（例如最大池化和上取樣）尚未適應網格。此外，由於當前3d資料集的大小有限，在3d面部資料上訓練cnn是具有挑戰性的。現有的大規模資料集[14,16,49,48,37]不包含高解析度的極端面部表情。
貢獻：為了解決這些問題，我們引入了具有新穎網格取樣操作的卷積網格自動編碼器（coma），其保留了神經網路中不同尺度的網格特徵的拓撲結構。我們遵循defferrard等人的工作。 [17]關於使用快速切比雪夫濾波器在圖上推廣卷積，並使用它們的公式在我們的面部網格上進行卷積。我們執行網格的光譜分解並直接在頻率空間中應用輪廓。這使得卷積儲存器有效且可行地處理高解析度網格。我們將卷積和取樣操作結合起來，以卷積網格自動編碼器的形式構建我們的模型。我們表明，coma在捕獲具有較少模型引數的高度非線性極端面部表情時，比最先進的面部模型表現更好。在我們的模型中具有較少的引數使其更緊湊，更容易訓練。引數的減少歸因於可以在網格表面上共享的區域性不變卷積濾波器。
我們通過在多相機有源立體聲系統中捕獲具有極端面部表情的20,466個高解析度網格來解決資料限制問題。我們的資料集涵蓋12個主題，執行12種不同的表達。表示式選擇複雜且不對稱，面部組織發生明顯變形。
總之，我們的工作引入了一種表示，該表示使用分層多尺度方法對網格表面上的變化進行建模，並且可以推廣到其他3d網格處理應用程式。我們的主要貢獻是：
1.我們介紹了一種卷積網格自動編碼器，它由網格下取樣和網格上取樣層組成，在網格表面定義了快速區域性卷積濾波器。
我們表明我們的模型準確地表示了低維的3d面部潛在空間的效能比用於最先進面部模型的pca模型好50％，如[40,28,1,7,46]。
3.我們的自動編碼器使用的引數比線性pca模型少75％，而在重建誤差方面更準確。
4.我們表明，通過coma替換現有技術面部模型的表達空間flame [28]可以提高其重建精度。
5.我們證明我們的模型可以用於變分設定來取樣a來自已知高斯分布的面部網格的多樣性。
6.我們提供來自12個不同科目的20,466幀複雜3d頭部網格，以及一系列極端的面部表情以及我們的**和訓練模型用於研究目的。
開源人工智慧使用卷積網格自動編碼器生成3d面部相關工作：面部表徵。 blanz和vetter [2]介紹了可變形模型;基於主成分分析（pca）的3d面部的第乙個通用表示，用於描述面部形狀和紋理變化。我們還將讀者推薦給brunton等人。 [13]全面概述了3d人臉表現。迄今為止，巴塞爾人臉模型（bfm）[35]，即可變形模型的公開可用變體，是中性表達中最廣泛使用的3d臉部形狀的表示。 booth等人。 [3]最近提出了另一種線***表情3d人臉模型，該模型是從近千種不同科目的面部掃瞄中學到的。
用線性空間或其更高階通用表示面部表情仍然是最先進的。線性表達基礎向量可以使用pca [1,7,28,40,46]計算，或者使用線性混合形狀手動定義（例如[41,27,6]）。楊等人。 [46]使用多個pca模型，每個表達乙個，amberg等。 [1]將中性形狀pca模型與pca模型結合起來，對中性形狀的表達殘差進行了研究。在face2face框架中使用了具有額外反照率模型的類似模型[42]。最近發布的flame模型[28]還模擬了頭部旋轉和偏航運動以及線性混合塗層，並實現了最先進的結果。 vlasic等。 [45]引入多線性模型，即pca的高階概括以模擬表達3d面部。最近，fern'andez等人。 [18]提出了一種自動編碼器，其具有基於cnn的編碼器和多線性模型作為解碼器。與我們的網格自動編碼器相反，它們的編碼器在深度影象上執行，而不是直接在網格上執行。對於所有這些方法，模型引數全域性影響形狀;即每個引數影響面部網格的所有頂點。然而，我們的卷積網格自動編碼器模擬了區域性變化，這是由於卷積的分級多尺度特性與下取樣和上取樣相結合。
為了捕捉區域性的面部細節，neumann等人。 [32]和法拉利等人。 [19]使用稀疏線性模型。布倫頓等人。 [12]通過在小波係數上計算區域性多線性模型，使用分層多尺度方法。而brunton等人。 [12]也使用了分層多尺度表示，他們的方法不使用整個域中的共享引數。請注意，由於面部特徵的區域性性，在區域性低維空間[12]中取樣是困難的;區域性面部特徵的組合不太可能形成合理的全域性面部形狀。我們工作的乙個目標是通過對潛在空間進行取樣來生成新的面網格，因此我們將自動編碼器設計為使用單個低維潛在空間。
傑克遜等人。 [25]在其基於cnn的框架中使用體積面部表示。與現有的面部表示方法相比，我們的網格自動化toencoder使用卷積層來表示具有明顯更少引數的面。由於它完全在網格空間上定義，因此我們沒有記憶體約束來影響用於表示3d模型的體積卷積方法。
卷積網路。布朗斯坦等人。 [10]全面概述了非歐幾里得域上cnn的推廣，包括網格和圖。 masci等人。 [30]定義第乙個網格卷積，通過使用測地極座標對每個點周圍的表面進行區域性引數化，並在得到的角度倉上定義卷積。在後續工作中，boscaini等人。
[5]使用各向異性熱核引數化每個點周圍的區域性固有斑塊。 monti等人。 [31]引入了d維偽座標，它用權重函式定義了每個點周圍的區域性系統。對於權重函式的特定選擇，該方法類似於[30]和[5]的內在網格卷積。相比之下，monti等人[31]使用具有可訓練均值向量和協方差矩陣的高斯核作為權函式。
verma等人。 [44]對圖形進行動態過濾，其中濾波器權重取決於輸入資料。但是，這項工作並不專注於減少圖形或網格的維數。 yi等人。 [47]也提供了用於標記節點的光譜cnn，但不涉及網格的任何維數減少。 sinha等。 [38]和maron等人。 [29]將網格表面嵌入平面影象中以應用傳統的cnn。 sinha等。使用強大的球面引數化將表面投影到八面體上，然後將其切割和展開以形成正方形影象。馬龍等人。 [29]引入了從網格表面到平坦圓環的共形對映。
儘管上述方法提出了網格上的卷積的概括，但是它們不使用結構來將網格減少到低維空間。所提出的網格自動編碼器通過將網格卷積與有效網格縮減相結合來有效地處理這些問題pling and mesh-upampling operators.bruna et al。 [11]通過利用拉普拉斯圖和傅利葉圖的連線，提出了圖上cnn的第一次推廣（更多細節參見第3節）。這導致光譜過濾器概括了圖形的概念。 boscaini等。 [4]使用視窗傅利葉變換對頻率空間進行區域性化。 henaff等人。 [24]以bruna等人的工作為基礎。通過新增乙個程式來估計圖的結構。為了降低譜圖卷積的計算複雜度，defferrard等人。 [17]通過截斷的chebyshev多項式逼近光譜濾波器，避免明確計算拉普拉斯運算元特徵向量，並為圖形引入有效的匯集運算元。 kipf和welling [26]僅使用一階chebyshev多項式簡化了這一點。但是，這些圖形cnn不直接應用於3d網格。 coma使用截斷的切比雪夫多項式[17]作為網格卷積。此外，我們定義網格下取樣和上取樣層，以獲得完整的網格自動編碼器結構，以表示高度複雜的3d面，獲得3d人臉建模的最新結果。
開源人工智慧使用卷積網格自動編碼器生成3d面部mesh自動編碼器：4.1網路架構，我們的自動編碼器由編碼器和解碼器組成。編碼器的結構如表1所示。編碼器由4個切比雪夫卷積濾波器和k = 6切比雪夫多項式組成。每個卷積之後都有乙個有偏見的relu [21]。下取樣層在卷積層之間交錯。每個下取樣層將網格頂點的數量減少大約4倍。編碼器使用末端的完全連線層將麵網格從rn×3變換為8維潛在向量。
解碼器的結構如表2所示。解碼器類似地由完全連線的層組成，該層將從r8到r20×32的潛在向量變換，可以進一步上取樣以重建網格。在解碼器的完全連線層之後，具有交錯上取樣層的4個卷積層生成r5023×3中的3d網格。每個卷積之後是類似於編碼器網路的偏置relu。每個上取樣層將頂點數量增加大約4倍。圖2顯示了網格自動編碼器的完整結構。
開源人工智慧使用卷積網格自動編碼器生成3d面部結論：
人工智慧實踐 卷積網路的優化
寫一下今天煉丹的收穫 1 對於一開始就用vgg16進行fashion mnist，正確率總是0.1，我推測是因為資料集 60000,28,28,1 每張蘊涵的資訊只有 28,28 不是很大，經過這麼多池化層，dropout,許多關鍵資訊都被丟棄了。當我只有兩卷積一池化時，正確率就90 2 關於met...
人工智慧之自動駕駛
隨著深度學習技術的崛起 人工智慧的備受關注，自動駕駛，作為ai中備受關注的重要落腳點，也被炒的火熱，更讓人充滿了幻想。1.1 自動駕駛的概念 自動駕駛，也常被人稱作無人駕駛 無人車等，但這幾個詞的表述其實是有所區別的，英文裡常見的表述有autopilot，automatic driving，self...
人工智慧 自動機模型
這是一類智慧型的演算法，沒有什麼固定的模式，就是乙個演算法思想，可以給我們一些有價值的指導，當我們想要做一些相關工作的時候，可以擴寬我們的視野，開啟我們的腦洞，借鑑其中的原理。我不想多說裡面的什麼數學和公式，只要你懂裡面的思想會遷移到實際的應用中就很不錯，更好的則是在其基礎上形成自己的思維，需要用的...