帶有信任門的時空LSTM,用於三維人體動作識別

2021-10-09 22:38:46 字數 733 閱讀 5181

why?

1.基於人類動作分析3d骨架資料——由於其簡潔、健壯性和檢視不變表示的特點變得流行!

2.創意:提出了一種更強大的基於樹結構的遍歷方法。

3.效能最先進

how?

時空**性網路的提出和實現

1.lstm適合學習在乙個序列的時間資料。

2.骨骼資料的序列特性同樣適合rnnn的學習在空間領域。然後將遞迴分析由時間域擴充套件到空間域,以發現每幀不同節點之間的空間依賴模式。

在空間方向上,框架中的身體關節按順序饋入。

在時間方向上,相應關節的位置隨著時間的推移而變化。

每個單元接收到先前關節和同一關節的先前幀的隱藏表示作為上下文資訊.

如圖a,作者將骨架轉化為樹形結構。

送入網路-》深度優先遍歷-》到達葉節點時,它會返回。-》上下文資訊將沿著兩個方向傳遞。遍歷結束後,返回根節點

信任門:估計錯誤的數量被用作乙個新的「信任門」的輸入。所獲得的信任值為長期記憶機制提供資訊,以便更好地決定何時以及如何記住和忘記記憶細胞的內容。

結果:

LSTM的各種門

動手實現lstm 的時候,因為忘記了各種門的原理,總感覺磕磕絆絆的。在這裡重新鞏固一下。普通rnn無法學習到距離當前位置較遠的資訊,lstm通過修改每個隱藏層內部的結構,來解決長距離依賴問題,實現對 記憶 的控制。如下圖所示 這種特殊結構的主要思想是 將資訊儲存在乙個個記憶細胞中,不同隱藏層的記憶細...

小白的LSTM學習筆記(2) 門結構的基本知識

上次提到水平線是無法實現資訊的刪減與新增的,但是門卻可以解決這個問題。介紹門之前,先介紹sigmoid層 乙個輸出向量在0 1之間的層。門有三類 遺忘門,輸入門,輸出門。遺忘門的作用是控制記憶單元,決定上一時刻的狀態保留多少到當前時刻,通過乙個sigmoid層實現遺忘部分,那個0 1之間的對映就是記...

LSTM中遺忘門,輸入門和輸出門的實際意義是什麼

上面是lstm的計算公式,首先找那幾個門,其實好找,那三個sigmod作為非線性函式的就是三個門,很明顯其取值範圍在0到1和門開啟關閉的物理意義是很好對應起來的。所以含義很清楚,輸入門是用來控制輸入i t 進出多少或者是否允許進出的門控裝置 輸出門是用來控制t時刻狀態值m t 對外多少是可見的門控裝...