專案名稱：「photo wake-up」基於二維影象的三維人體模型重建
專案背景：
《哈利波特》世界裡有一種神奇的魔法報紙，報中**上的人物可以動起來，看起來有點像 gif 圖。在故事裡這當然是「魔法」的功勞，現實世界中還沒有造出這樣的報紙。我們想通過現有對影象的研究，使用ai演算法，實現這個過程。華盛頓大學的幾個科學家已經研究出來這樣的演算法，他們提出了一種使單一中的人物動起來的方法，圖中的人物在三維場景下可以行走，奔跑，坐下或跳躍。
官方表示成果：
但是**始終沒有表示要公開**，網民也表示出對成果真實性的質疑，這是乙個十分有創意的事情，我們希望能把他們的演算法實現出來，希望能應用於ar領域。
主要內容
給定一張，進行影象分割和人物姿態**，提取畫中人的2d骨骼關鍵點。將乙個通用的smpl人體模型（帶骨骼與蒙皮的）fit到輸入影象，將smpl的2d輪廓warp到估計出的人體2d輪廓，將此warp應用到法向圖、深度圖、蒙皮權重圖.根據得到的這些圖，重構出網格（帶骨骼與蒙皮資訊），再將現有的運動捕捉資料，應用於重建之後的模型上，產生動畫。
技術路線
我們整個工作首先需要學習tensorflow框架以及opencv庫的使用，並且成功執行第一部分的**，得到人體二維關節點**圖以及smpl模型，之後在進行第二三部分的演算法研究，最後將運動捕捉資料應用到重建的模型中。
預期成果
以二維影象為輸入，能重建影象中的三維人體模型動畫，使影象上的人物動起來。
PhotoWakeUp 創新實訓（2）
由於時間原因，先給出了大致的總結提綱，具體內容明後天補上qnq 這週的主要工作是將人體從背景中分割出來。中提到了mask r cnn 和dense crf方法，似乎不理想 趁著這幾個機會學習了instance segmentation，semantic segmentation的區別。找到一張十分合...
PhotoWakeUp 創新實訓 4
再讀 正面的身體自遮擋部位區域填充 使用patchmatch 4 方法 處理背部紋理是乙個開放的研究問題 27,10,28 文中給了兩種方法 1 將正面文理映象貼到背面 2 使用可選的使用者指南進行繪製。前後紋理用泊松混合縫合 32 運動序列來自 9 他們有個ui介面，可以提供紋理填充方式選擇和姿態...
PhotoWakeUp 創新實訓（8）
github位址 鑑於邊界點等效果較差，採取兩種措施 1 使用bfs思想平滑。通過常識我們知道，相鄰畫素之間的深度值不會差別很大。從這種想法出發，選取基本點，然後用bfs方法減少相鄰的畫素之間的深度值差。主要 如下 import queue 從中心點開始，bfs向外擴充套件，將變化大的點的深度值平滑...